Могу ли я использовать WebHDFS в Azure HDInsight? - PullRequest
Новая
       110

Могу ли я использовать WebHDFS в Azure HDInsight?

0 голосов
/ 14 июля 2020

Я создал HDInisght с Azure Storage в качестве HDFS. И я хотел узнать, могу ли я использовать apis webHDFS для загрузки двоичных файлов в HDFS.

Я пробовал https://<HOST>:<HTTP_PORT>/webhdfs/v1/. Но я не уверен в Host и Http_port.

Тем временем я проверил hdfs-site.xml и обнаружил 

  <property>
    <name>dfs.webhdfs.enabled</name>
    <value>false</value>
    <final>true</final>
  </property>

Следует ли мне установить значение True и тогда я могу его использовать?

1 Ответ

0 голосов
/ 15 июля 2020

Примечание. Azure HDInsight не поддерживает WebHDFS.

Вам не нужно создавать кластер HDInsight для взаимодействия с ADLS с помощью WebHDFS.

  1. Azure Хранилище несовместимо с WebHDFS.

  2. Azure Data Lake Store - это файловая система облачного масштаба, совместимая с Had oop Распределенная файловая система (HDFS) и работает с экосистемой Had oop. Ваши существующие приложения или службы, использующие API WebHDFS, могут легко интегрироваться с ADLS.

enter image description here

Reference: API файловой системы WebHDFS

ADLS Gen2 имеет Had oop Файловая система совместима и оптимизирована для хранения аналитики больших данных в облачном масштабе и не совместима с WebHDFS.
...