Google AppEngine и поточные работники

Question

В настоящее время я пытаюсь что-то разработать с помощью Google AppEngine, в качестве среды выполнения я использую Python и требую некоторого совета по настройке следующего.

Я использую веб-сервер, который предоставляет данные JSON клиентам. Данные поступают из внешней службы, из которой мне нужно получить данные.

Что мне нужно сделать, это запустить фоновую систему, которая проверит memcache, чтобы увидеть, есть ли какие-либо требуемые идентификаторы, если есть идентификатор, мне нужно получить некоторые данные для этого идентификатора из внешнего источника и места данные в memecache.

Если есть несколько идентификаторов,> 30 Мне нужно иметь возможность обработать все 30 запросов максимально быстро и эффективно.

Я новичок в Python Development и AppEngine, поэтому любые советы, которые вы, ребята, могли бы дать, были бы великолепны.

Спасибо.

Answer 1

Вы можете использовать «бэкэнды» или «очереди задач» для запуска процессов в фоновом режиме. Задачи имеют 10-минутное ограничение времени выполнения, а бэкэнды не имеют ограничения времени выполнения. Есть также механизм cronjob, который может запускать запросы через равные промежутки времени.

Вы можете получать данные с внешних серверов с помощью службы "URLFetch".

Answer 2

Обратите внимание, что использование memcache в качестве механизма связи между внешним и внутренним интерфейсом ненадежно - содержимое memcache может быть частично или полностью удалено в любое время (и это происходит время от времени).

Также обратите внимание, что вы не можете запросить memcache вы не знаете точные ключи заранее.Вероятно, лучше использовать очередь задач для постановки в очередь запросов, а не использовать memcache или использовать хранилище данных в качестве механизма хранения.