У нас есть пакетное задание Azure, в котором используются довольно большие файлы, которые мы асинхронно загружаем в хранилище BLOB-объектов Azure, поэтому нам не нужно ждать загрузки всех файлов перед запуском нашего пакетного задания, состоящего из набора Задачи, которые будут обрабатывать каждый файл и генерировать вывод. Пока все хорошо - все работает нормально.
Я хотел бы иметь возможность создать задачу Azure и добавить ее в существующее работающее задание Azure, увеличив длину списка задач, но не могу найти способ сделать это. Похоже, что Azure ожидает, что вы определите ВСЕ задания для Задачи до ее начала, а затем она запускается до тех пор, пока все задачи не будут выполнены и не завершат задание (что имеет смысл в некоторых сценариях - но не в моем).
Я хотел бы подавить это поведение завершения задания и иметь возможность ставить в очередь дополнительные задачи Azure для того же задания. Затем я мог бы отслеживать состояние Задания Azure (через Задачи) и сам определять, завершено ли Задание.
Наша проблема в том, что загрузка файлов размером в несколько МБ занимает много времени, и мы хотим, чтобы обработка задач начиналась, как только будет доступен первый файл. Если нам нужно подождать, пока все файлы не станут доступны, тогда начало обработки будет отложено, а это не то, что нам нужно.
Мы «можем» создать задание для каждой задачи и управлять им в нашем приложении, но это немного «грязно», и я хотел бы использовать инкапсулирующую сущность Задания Azure и поддерживающую функциональность, если возможно.
Кто-нибудь сделал это и может предложить какое-нибудь руководство? Большое спасибо?