Перемещение файлов в Hadoop с использованием API - PullRequest
0 голосов
/ 12 сентября 2018

Можно ли перемещать файлы в hadoop, используя FileSystem класс https://hadoop.apache.org/docs/r2.7.1/api/index.html?org/apache/hadoop/fs/FileSystem.html или аналогичный?

1 Ответ

0 голосов
/ 12 сентября 2018

Да, это возможно.

Для получения копии MapReduce, которая быстрее hadoop fs -cp, посмотрите исходный код DistCp

Или, если вы действительно хотите переместить файл hadoop fs -mv исходный код . Примечание: «перемещение» на самом деле является «переименованием» в HDFS.

FileSystem#rename - это то, что вы хотите.

...