Опубликовать в Azure Cosmos Db от NiFi - PullRequest
Новая
       7

Опубликовать в Azure Cosmos Db от NiFi

0 голосов
/ 09 декабря 2018

Я создал базу данных Azure CosmosDb и контейнер для своих документов.Я использую NiFi как основной инструмент приема данных и хочу наполнить свой контейнер документами из потоковых файлов NiFi.Кто-нибудь может поделиться информацией о том, как публиковать содержимое потокового файла в Azure Cosmos Db от NiFi?

Заранее спасибо

ОБНОВЛЕНИЕ (2019.05.26): В конце я использовал скрипт Python и вызывал его изНифи для размещения сообщений.Я передал сообщение в качестве параметра.Причина, по которой я выбрал python, заключается в том, что на официальном сайте Microsoft есть несколько примеров со всеми необходимыми настройками подключения и библиотеками, поэтому было легко подключиться к Cosmos.Я попробовал компонент Mongo, но не смог подключиться к Azure (настройка безопасности не работала), на самом деле не зашел слишком далеко, так как скрипт Python работал просто отлично.

Ответы [ 2 ]

0 голосов
/ 10 декабря 2018

Azure CosmosDB предоставляет API MongoDB, поэтому вы можете использовать следующие процессоры MongoDB, доступные в NiFi, для чтения / запроса / записи в Azure CosmosDB и из нее с использованием Apache NiFi.

  • DeleteMongo
  • GetMongo
  • PutMongo
  • PutMongoRecord
  • RunMonogAggregation

Полезные ссылки

0 голосов
/ 10 декабря 2018

Валерий.Согласно списку компонентов , поддерживаемым Apache Nifi, связанным с Azure, вы можете получить только хранилище BLOB-объектов Azure, хранилище очередей, концентратор событий и т. Д., Не считая Cosmos DB.

Итак, я предлагаю вам использовать PutAzureBlobStorage для подачи в контейнер Azure BLOB-объектов документов из потоковых файлов NiFi.Затем создайте копирование операции конвейер в фабрике данных Azure для передачи данных из хранилища BLOB-объектов Azure в БД Azure Cosmos * .

...