Azure - копирование файлов из локального в блоб в режиме реального времени

Question

Я работаю на платформе Azure и выполняю действия по интеграции данных (ETL) с помощью Azure Data Factory v2. Я получил требование анализировать файлы сообщений в формате .txt в реальном времени, как и когда они сбрасываются на внешний путь SFTP.

Трубопровод выглядит следующим образом: -

Источник -> SFTP-сервер -> BLOB-объект Azure -> Трубопровод ADF -> База данных

Конвейер должен забрать файл с SFTP-сервера и скопировать его в BLOB-объект Azure по мере удаления файлов на внешний SFTP-сервер. Оттуда происходит остальная часть обработки.

Может кто-нибудь сообщить мне, как заставить работу ADF работать в режиме реального времени, чтобы искать новые файлы, хранящиеся во внешнем пути SFTP? Любые предложения по использованию другого инструмента / технологии в Azure также хороши.

Answer 1

Вы должны взглянуть на Azure Logic App , оно имеет SFTP-разъем :

• Триггер SFTP: при добавлении или изменении файла

Затем вы копируете свой файл в хранилище BLOB-объектов (используя коннектор BLOB-объекта ):

• Создание больших двоичных объектов в хранилище больших двоичных объектов Azure и управление ими с помощью приложений логики Azure

Затем вы запускаете конвейер ADP с помощью ADP-разъема (в превью)

Таким образом, приложение логики будет запущено при загрузке нового файла на FTP, затем скопирует файл в хранилище BLOB-объектов и запустит конвейер ADP без кода.