загрузка файла внешних свойств в udf

Question

При написании UDF, скажем, EvalFunc, возможно ли передать файл конфигурации с

properties = new Properties();
properties.load(new FileInputStream("conf/config.properties"));

при работе в режиме Hadoop?

Best, Will

Answer 1

Вот Simple Example to Read and Write files from Hadoop DFS из http://wiki.apache.org/hadoop/HadoopDfsReadWriteExample

может быть, вы найдете в нем полезный код для завершения вашей работы.

Ниже приведен мой код, он успешно загрузил файл свойств в hadoop, я использовал Apache Commons Configuration http://commons.apache.org/configuration/

public static void loadProperites(String path) throws ConfigurationException, IOException {
    Configuration conf = new Configuration();
    FileSystem fs = FileSystem.get(conf);
    Path inFile = new Path(path);
    FSDataInputStream in = fs.open(inFile);

    PropertiesConfiguration config = new PropertiesConfiguration();
    config.load(in);

    in.close();
}