Копирование файла hdfs на удаленный сервер Linux с использованием scp напрямую?

Question

У меня есть сценарий использования для копирования последнего сгенерированного файла HDFS на удаленный сервер Linux. Я не хочу хранить промежуточное звено в локальной файловой системе, а затем сделать scp на удаленный сервер.

Я знаю об этом, но я хочу ИЗБЕГАТЬ этого (по очевидной причине - накладные расходы по хранению огромного файла в локальном фс)

hadoop fs -copyToLocal <src> <dest>
and then scp toMyLinuxFileSystem

Есть ли команда для прямого копирования файла hdfs на удаленный сервер Linux?

Answer 1

Вы можете передавать данные с помощью каналов Linux, если ssh на сервер доступен

hdfs dfs -cat my-file.txt | ssh myserver.com 'cat > /path/to/my-file.txt'

Первая команда считывает данные файла в виде потока, вторая перенаправляет их на удаленный сервер. Работал на меня. Примите во внимание, что иногда ssh тайм-аут, если в течение долгого времени ничего не передается.

Кредиты к этому ответу: https://superuser.com/questions/291829