Слияние файлов в hdfs с помощью Java-программы - PullRequest
Новая
       10

Слияние файлов в hdfs с помощью Java-программы

0 голосов
/ 09 мая 2018

Я новичок в больших данных и работал над небольшой задачей, где мне нужно объединить несколько файлов в один файл в формате hdf.Для этого я использовал программу Java (объединяя все файлы, похожие на prod *, в один файл prod.txt).Я искал помощь, и код, который я написал до сих пор:

открытый класс MergeFiles {

public static void main(String[] args) throws FileNotFoundException {
    // TODO Auto-generated method stub

    String srcPath = "/user/demouser/first/prod*"; 
    String dstPath = "/user/demouser/second/prod.txt"; 
    Configuration conf = new Configuration(); 
    conf.set("fs.default.name","http://hostname:portnumber/");
    try 
    { 
        FileSystem hdfs = FileSystem.get(conf); 
        FileUtil.copyMerge(hdfs, new Path(srcPath), hdfs, new Path(dstPath), false, conf, null); 
        } 
    catch (IOException e) 
    { }

    }

}

Не работает, и я не могувыяснить, как решить эту проблему.Я также не понял работу "fs.default.name".Пожалуйста, помогите.

1 Ответ

0 голосов
/ 09 мая 2018

Вам понадобится реальное имя хоста и номер порта, чтобы заменить 'http://hostname:portnumber/',, ваше имя хоста и номер порта должны быть доступны с вашего компьютера. Это должно быть расположение вашей файловой системы.

...