Копирование каталога из удаленной локальной файловой системы HDFS на мой локальный компьютер - PullRequest
Новая
       16

Копирование каталога из удаленной локальной файловой системы HDFS на мой локальный компьютер

0 голосов
/ 09 мая 2018

У меня есть каталог в моей локальной среде hdfs, я хочу скопировать его на мой локальный компьютер.Я обращаюсь к hdfs используя ssh (с паролем).

Я пробовал многие предложенные команды копирования, но они не работали.

Что я пробовал: 

scp ‘username@hn0-sc-had:Downloads/*’ ~/Downloads

, как упомянуто в этой ссылке .Что я делаю неправильно?

1 Ответ

0 голосов
/ 10 мая 2018

SCP скопирует с удаленного сервера Linux.

HDFS не существует на одном сервере или является «локальной файловой системой», поэтому SCP не является подходящим инструментом для непосредственного копирования с него

Ваши опции включают

  1. SSH к удаленному серверу
  2. Используйте hdfs dfs -copyToLocal для извлечения файлов из HDFS
  3. Используйте SCP со своего компьютера, чтобы получить файлы, которые вы только что загрузили на удаленный сервер

или

  1. Настройка локального интерфейса командной строки Hadoop с использованием файлов XML с удаленного сервера
  2. Используйте hdfs dfs -copytoLocal напрямую против HDFS со своего компьютера

или

  1. Установка HDFS NFS Gateway
  2. Смонтируйте том NFS на локальном компьютере и скопируйте с него файлы
...