Добавление новой строки между документами с помощью hasoop getmerge

Question

Я пытаюсь получить кучу файлов из hadoop и объединить их в один большой файл, и я хотел бы иметь новую строку между каждым документом.hadoop fs -getmerge <src> <localdst> addnl должен делать именно это, но он не добавляет новую строку, несмотря ни на что!Я также попробовал hadoop fs -getmerge <src> <localdst> -nl Увидев это: https://issues.apache.org/jira/browse/HADOOP-7340 Но это тоже не работает.Я что-то пропустил?У кого-нибудь это работает?

Спасибо!

Answer 1

hadoop fs -getmerge <src> <localdst> true

Answer 2

Если вы довольны написанием некоторого кода для этого (и не полагаетесь на команды оболочки), вы можете изменить текущий метод FsShell.copyMergeToLocal (что и вызывает hadoop fs -getmerge), чтобы включить пользовательский файлстрока разделителя (в вашем случае "\ n \ n"):

void copyMergeToLocal(String srcf, Path dst, String fileSeparatorString) throws IOException {
  Path srcPath = new Path(srcf);
  FileSystem srcFs = srcPath.getFileSystem(getConf());
  Path [] srcs = FileUtil.stat2Paths(srcFs.globStatus(srcPath), 
                                   srcPath);
  for(int i=0; i<srcs.length; i++) {
      FileUtil.copyMerge(srcFs, srcs[i], 
          FileSystem.getLocal(getConf()), dst, false, 
          getConf(), fileSeparatorString);
  }
}

Answer 3

У меня сработала следующая команда:

hdfs dfs -getmerge -nl <src> <localdst>