Как я могу рекурсивно скопировать каталог из cluster1 в cluster2 в Hadoop HDFS? В результате я хотел бы получить структуру каталогов с данными.
Используйте встроенный инструмент distcp:
bash $ hadoop distcp hdfs: // nn1: 8020 / foo / bar \ hdfs: // nn2: 8020 / bar / foo
См. документация здесь: Distcp tool