Невозможно выполнить запись в набор данных Azure с процессора Apache NIFI PUTHDFS - PullRequest
Новая
       30

Невозможно выполнить запись в набор данных Azure с процессора Apache NIFI PUTHDFS

0 голосов
/ 15 октября 2018

Я пытаюсь записать в datalake, используя процессор "PUTHDFS".Я указал путь к файлам core-site.xml и hdfs-site.xml, путь к дополнительным ресурсам, каталог в конфигурациях процессора puthdfs.Но я получаю сообщение об ошибке, как на картинке.Любая помощь будет принята с благодарностью.

enter image description here

Jar Файлы, присутствующие в пути к дополнительному ресурсу:

enter image description here

Спасибо.

1 Ответ

0 голосов
/ 10 марта 2019

Я использую Nifi 1.9.0, который использует Apache Hadoop 3.0.0 .. и мне нужны только 2 jar-файла для доступа к Azure Datalake gen1 для ваших "Дополнительных ресурсов Classpath"

azure-data-lake-store-sdk-2.3.1.jar hadoop-azure-datalake-3.1.1.jar

Эти файлы доступны в центральном хранилище Maven.

Тогда вам просто нужен файл core-site.xml для ваших "ресурсов конфигурации Hadoop"

Пример: замените $ var вашими значениями 

<configuration>
<property>
<name>fs.defaultFS</name>
<value>adl://$adls-storage-account-name.azuredatalakestore.net</value>
</property>
<property>
<name>dfs.adls.oauth2.access.token.provider.type</name>
<value>$ClientCredential</value>
</property>
<property>
<name>dfs.adls.oauth2.refresh.url</name>
<value>https://login.microsoftonline.com/$tenant-id/oauth2/token</value>
</property>
<property>
<name>dfs.adls.oauth2.client.id</name>
<value>$client id</value>
</property>
<property>
<name>dfs.adls.oauth2.credential</name>
<value>$key</value>
</property>
</configuration>
...