Можно ли создать каталог на удаленном кластере в oop, выполнив команду -mkdir?

Question

Мы перемещаем данные между кластерами по частям, и у нас есть требование использовать опцию -update -skipcrccheck только для этого. Чтобы запустить distcp для каждого раздела по отдельности с этими параметрами, необходимо, чтобы каталог назначения уже был создан в месте назначения. Для этого мне нужно выполнить -mkdir из удаленного кластера в целевом кластере.

Я пытался найти ответ в Google, но ничего не смог найти. Это то, что возможно?

Answer 1

Когда DistCp вызывается без -update или -overwrite, значения по умолчанию для DistCp будут создавать каталоги сначала /, а затем /, в /target.

distcp -skipcrccheck  hdfs://nn1:8020/source/first hdfs://nn1:8020/source/second hdfs://nn2:8020/target

Вывод:

hdfs://nn2:8020/target/first/1
hdfs://nn2:8020/target/first/2
hdfs://nn2:8020/target/second/10
hdfs://nn2:8020/target/second/20