Доступ к HDFS в удаленном кластере - PullRequest
0 голосов
/ 05 ноября 2018

В настоящее время у меня есть удаленный кластер Hadoop. Когда я пытаюсь получить доступ к данным в датоде через namenode, namenode перенаправит меня в datanode. Однако возвращенное доменное имя datanode может быть распознано только внутри этого кластера. Кроме того, я не могу пересмотреть /etc/hosts на стороне клиента.

Могу ли я настроить namenode для перенаправления с любого IP или домена? Где namenode используется для записи домена для возврата?

1 Ответ

0 голосов
/ 06 ноября 2018

Я считаю, что вам нужен сервер Gateway (также называемый EdgeNode). Есть несколько учебников там.

В вашем конкретном случае ваш сервер, содержащий namenode, также будет содержать EdgeNode.

Есть два конкретных проекта для достижения этой цели:

  1. Использование SOCKS прокси. Использование Hadoop через прокси SOCKS?
  2. Использование HTTPFS: https://hadoop.apache.org/docs/r2.4.1/hadoop-hdfs-httpfs/index.html
...