Использование очередей задач для планирования выборки / анализа нескольких каналов в App Engine (Python)

Question

Скажем, у меня было более 10000 каналов, которые я хотел периодически получать / анализировать. Если бы период был, скажем, 1ч, это было бы 24x10000 = 240 000 выборок.

Текущее ограничение в 10 Кб API-интерфейса очереди задач исключает одно из настройка одной задачи на выборку. Как тогда можно это сделать?

Обновление: RE: выборка nurls для задачи - учитывая 30-секундный тайм-аут на запрос в какой-то момент, это может достичь потолка. Является в любом случае существует возможность его распараллелить, чтобы каждая очередь задач инициировала набор асинхронных параллельных выборок, каждая из которых может занять менее 30 секунд, но для совместной обработки может потребоваться больше.

Answer 1

Вот API асинхронного urlfetch:

http://code.google.com/appengine/docs/python/urlfetch/asynchronousrequests.html

Набор из множества запросов с разумным сроком (выделите себе некоторый запас по таймауту, чтобы, если один запрос истек, у вас все еще было время обработать остальные). Затем дождитесь каждого из них по очереди и обработайте их по завершении.

Я сам не использовал эту технику в GAE, так что вы сами находите какие-то неочевидные ошибки. К сожалению, в API нет вызова в стиле select() для ожидания выполнения первого из нескольких запросов.

Answer 2

2 выборки за задачу? 3

Answer 3

Группируйте выборки, поэтому вместо очереди 1 выборки вы ставите в очередь, скажем, рабочий блок, который выполняет 10 выборок.