Поток данных из Azure в Google Cloud Platform с использованием NiFi - PullRequest
Новая
       41

Поток данных из Azure в Google Cloud Platform с использованием NiFi

0 голосов
/ 23 марта 2019

Моя цель - переместить json/xml файлы из Azure в Google Cloud Platform(GCP), используя NiFi. После всех моих исследований и разработок я нашел несколько processors, которые могут быть полезны. Списки ниже:

  1. GetFile
  2. PutFile
  3. putGCSObject - Поместить данные в GCP
  4. Нашел эту ссылку в качестве альтернативы для получения файлов из Azure, поскольку встроенный процессор недоступен

Приведенная выше ссылка была сложной. Так что в соответствии с моей целью я иду правильно? Нужны ли мне дополнительные процессоры? а также любую важную конфигурацию, которую мне нужно сделать при определении этого потока

Пожалуйста, помогите мне, так как я новичок и только начал с NiFi

1 Ответ

2 голосов
/ 24 марта 2019

Если я правильно понял ваш вопрос, ваша задача - переместить файлы из хранилища файлов Azure в облачное хранилище Google. Правильно?

Если это так, то вы почти на правильном пути. Как вы уже упоминали, в Apache NiFi сейчас нет процессоров для файлов Azure, поэтому следуйте приведенному здесь руководству Microsoft, смонтируйте файлы Azure на свой компьютер Linux и создайте поток, подобный следующему: ListFile -> FetchFile -> PutGCSObject

GetFile или любые процессоры Get * имели устаревшую природу, и новый шаблон List / Fetch довольно хорош, поскольку он помогает вам отслеживать состояние и т. Д.,

Кстати, вам не нужно PutFile, поскольку целью этого процессора является запись файлов в локальную файловую систему, но мы здесь имеем дело с GCS в качестве нашего приемника.

...