Как предотвратить работу Azure потоковой аналитики для чтения неполного файла - PullRequest
0 голосов
/ 12 февраля 2020

Я создал задание потоковой аналитики в Azure, которое считывает данные из файла (ов) в хранилище BLOB-объектов (из определенного контейнера в хранилище BLOB-объектов), и это задание помещает данные из файла (-ов) в API-интерфейс Cosmos DB SQL. Как я могу помешать заданию Azure strean analytics читать неполные файлы? Я не хочу, чтобы это было возможно, что работа стала неполной (все еще пишет файл).

1 Ответ

0 голосов
/ 12 февраля 2020

Как я знаю, задание ASA не может определить, какие файлы являются неполными файлами, которые являются завершенными файлами. Как только вы установите заданный ввод ... запустите задание, он будет собирать любые потоковые данные со стороны ввода в режиме реального времени. Это особенность ASA!

Возвращаясь к вашему требованию: вы хотите передавать данные и одновременно отправляете данные. Но вы хотите, чтобы передача выполнялась с определенным c состоянием файлов.

Боюсь, что ASA не ваш выбор. Триггер со службой ETL может быть более подходящим для вас. Вы можете получить представление о Azure операции копирования фабрики данных , которая поддерживает выполнение триггера. Как только вы закончите sh отправку данных, вы можете запустить АПД для передачи данных из хранилища BLOB-объектов в космос db.

...