Как я могу использовать NiFi для загрузки данных из / в ADLS - PullRequest
0 голосов
/ 27 сентября 2018

Я хотел бы использовать NiFi для соединения с ADLS.Мой сценарий таков: Nifi установлен и работает в Windows Machine.Теперь я хочу переместить данные из локального каталога Windows в ADLS.Я не использую какой-либо компонент hadoop на данный момент.Из ADLS снова я хочу переместить эти данные на SQL-сервер, который также находится в Azure.Как я могу подключить Windows с Nifi к ADLS?Все инструкции я нашел по настройке файлов core-site.xml и переносу jar-файлов в определенную папку Nifi.Но так как у меня не работает Hadoop (поэтому у меня нет файла core-site.xml), в таком случае, как я могу подключить Nifi к ADLS?

Кто-нибудь может поделиться пожалуйста указателями, как это можно сделать?

Заранее спасибо.

1 Ответ

0 голосов
/ 27 сентября 2018

Вы можете попробовать использовать процессор ExecuteGroovyScript и родную библиотеку Azure для работы с adls.

Вот пример Java:

https://github.com/Azure-Samples/data-lake-store-java-upload-download-get-started/blob/master/src/main/java/com/contoso/sample/UploadDownloadApp.java

Но это можетбыть легко преобразованным в заводной сценарий.

...