Как использовать Python для загрузки локального файла на HDFS с hdfs3 lib

Question

Я пытаюсь загрузить локальный файл в HDFS, используя скрипт Python.Прямо сейчас у меня есть Hue (имя пользователя и пароль), мой IP-адрес.Я хочу использовать hdfs3 lib из python.Я в основном знаю, как автоматизировать этот процесс.Я могу найти местоположение, которое я намерен загрузить на HDFS, используя Hue (выполнить какой-либо запрос).

Мой вопрос заключается в том, где я могу найти этот хост, информацию о порте и подключиться к HDFS.

from hdfs3 import HDFileSystem

hdfs = HDFileSystem(host=***, port=***)

Answer 1

Это будут адрес и порт наменода.

Запросите эту информацию у администратора кластера.Или, если вы являетесь администратором Hue, вы можете получить эту информацию со страницы конфигурации

Примечание: вы также можете получить оболочку hdfs dfs -put, если она работает на той же машине, что и скрипт python