Стратегия чередования рабочих мест в AppEngine?

Question

Допустим, у меня есть 1000 заданий для многократного выполнения, как бы вы предложили мне спроектировать мою систему в Google AppEngine?

Мне нужно иметь возможность добавлять больше рабочих мест, одновременно эффективно масштабируя систему. Запланированные задачи, конечно же, являются частью решения, а также очередей задач, но мне нужно больше идей, чтобы лучше использовать эти ресурсы.

ПРИМЕЧАНИЕ : нет никаких зависимостей между "заданиями".

Answer 1

На основании того небольшого описания, которое вы предоставили, трудно сказать. Возможно, вы захотите использовать Task Queue и, возможно, отложенную библиотеку , если вы используете Python. Все, что требуется для их использования - это использовать API для постановки задачи.

Если вы говорите о множестве повторяющихся задач, у вас есть несколько вариантов:

• Запустите первое задание в очереди заданий вручную и используйте цепочку, чтобы каждая очередь вызовов получала следующую с соответствующим интервалом.
• Хранить каждое расписание в хранилище данных. Регулярно проверяйте работу cron на наличие задач, которые достигли их ETA; Запустите задачу очереди задач для каждого, обновив ETA для следующего запуска.

Answer 2

Я думаю, вы могли бы использовать Cron Jobs .

Привет.