Я работаю на платформе Azure и использую Python 3.x для операций по интеграции данных (ETL) с использованием Azure Data Factory v2.Я получил требование анализировать файлы сообщений в формате .txt в режиме реального времени, когда они загружаются из хранилища больших двоичных объектов в виртуальную машину Windows по пути D: / MessageFiles /.
Я написал скрипт Python для анализафайлы сообщений, потому что это файл с фиксированной шириной, который анализирует все файлы в каталоге и генерирует выходные данные.Как только файлы успешно проанализированы, они будут перемещены в каталог архива.Этот скрипт хорошо работает на локальном диске в режиме ad-hoc всякий раз, когда мне это нужно.
Теперь я хотел бы, чтобы этот сценарий непрерывно выполнялся в Azure, чтобы он постоянно искал файлы входящих сообщений в каталоге D: / MessageFiles / и выполнял обработку, как и когда он видит новыйфайлы в пути.
Может кто-нибудь, пожалуйста, дайте мне знать, как это сделать?Должен ли я использовать любое потоковое аналитическое приложение для достижения этой цели?
Примечание : я не хочу использовать опцию таймера в скрипте Python.Вместо этого я ищу параметр в Azure, чтобы использовать логику Python только для анализа файлов.