Хотя Google не выставлял API планирования, очереди и фоновых задач, вы можете выполнять любую обработку только как ответ на внешний HTTP-запрос. Вам понадобится служба пульса, которая будет обрабатывать по одному элементу из очереди сканера за раз (чтобы не превышать пределы GAE).
Чтобы выполнить сканирование из GAE, вы должны разделить свое приложение на очередь (которая хранит данные очереди в хранилище данных), процессор очереди, который будет реагировать на внешнее биение HTTP и вашу фактическую логику сканирования.
Вам придется вручную следить за использованием квоты и запускать сердцебиение, когда у вас есть запасная квота, и останавливаться, если она израсходована.
Когда Google представит API, о которых я говорил в начале, вам придется переписывать части, которые реализованы более эффективно с помощью Google API.
ОБНОВЛЕНИЕ: Google представил API очереди задач некоторое время назад. См. документы очереди задач для python и java .