Есть ли способ узнать, когда завершился набор задач очереди задач ядра приложения?

Question

существует ли способ определить, когда набор задач Google App Engine (и дочерних задач, которые они порождают) завершен все ?

Допустим, у меня есть 100 задач для выполнения и 10 из них порождают по 10 дочерних задач каждая. Это 200 заданий. Скажем также, что эти дочерние задачи могут порождать больше задач, рекурсивно и т. Д ...

Есть ли способ определить, когда все задачи были выполнены? Я пытался использовать API конвейера движка приложения, но не похоже, что он подойдет для моего конкретного случая использования, хотя это отличный API.

Мой пример использования - я хочу сделать целую кучу вызовов URL с ограниченной скоростью, одновременно записывая в BLOB-объект. В конце всех вызовов извлечения URL-адресов я хочу завершить создание большого двоичного объекта.

Я нашел решение с конвейерным API, но он так много пишет в хранилище данных, что для меня не было бы экономически эффективным из-за того, как часто мне нужно запускать конвейер.

Answer 1

Нет способа обойти запись на какой-то постоянный носитель, и хранилище данных - единственная игра в городе.Вы можете написать свой собственный сервер для отслеживания завершений, используя бэкэнд, но это слишком много для простой задачи.Лучше всего использовать API конвейера.