В настоящее время я выполняю следующую команду
sqoop merge --new-data / home / part1 / part-m-00000 --onto / home / part2 / part-m-00000 -target-dir / home / merged --jar-file /home/hadoop/myjar.jar --class-name myjar --merge-key id
Все работает нормально, за исключением того, что слияние генерирует выходные данные в несколькихфайлы деталей, так как это задача mapreduce в hadoop, в которой используются несколько редукторов.
Файлы деталей - это файлы паркета, я хочу создать один файл, так как этот же файл будет введен для моего следующего процесса, а следующий процессзапустить задание Apache на том же извлеченном файле.
Как я могу заставить вывод sqoop объединить в один файл?Любое предложение по этому поводу?
Спасибо,
-Джексон