Отправка события о создании нового файла в Azure Data Lake Gen 1

Question

Я хочу отправить событие или уведомление во внешний поток NIFI, как только новый файл будет добавлен в Azure Data Lake Gen 1.

Кто-нибудь работал или имеет какую-либо информацию об этом сценарии использования?

Answer 1

Я нашел решение этой проблемы с помощью Azure Data Lake Gen 2, мы можем инициировать события различного рода, такие как «Функция Azure», и заставить эту функцию отправлять уведомления с путем к файлу, который только что добавлен в поток NIFI, который начинается с одного из процессоров слушателей, таких как процессоры ListenHttp или HandleHttpRequest. После этого мы можем использовать любой процессор для извлечения этого файла из вашего хранилища.

Answer 2

Хотя хранилище озера данных Azure (ADLS) Gen2 построено на хранилище BLOB-объектов Azure, существует пара известных проблем и различий , которые задокументированы.

Из-за этих различий я считаю, что мы не можем использовать существующие привязки, доступные для хранилища BLOB-объектов или таблицы событий.

Но вы все равно можете иметь функцию, запускаемую таймером, например, и использовать ADLS v2 REST API для чтения / обновления файлов.