Cron Jobs, Очередь заданий или отложенные задания? - PullRequest
3 голосов
/ 04 декабря 2010

В Google App Engine для таких задач, как сканирование некоторых RSS-каналов и добавление новых записей из канала в хранилище данных каждые 10-15 секунд , следует ли мне использовать Cron Jobs , Очередь задач или Отложенные задачи ?Я действительно запутался.

Ответы [ 2 ]

0 голосов
/ 04 декабря 2010
  • Я думаю, что если это случится каждые 15 секунд (не пропуская), чем я бы cron рабочих мест потому что это легче всего воплощать в жизнь. Но если вам нужно уметь отмените задачу, тогда вы должны использовать задачу очереди.
  • Кстати, вы должны использовать PubSubHubbub (hubbub) для получать обновления для каналов в в реальном времени, если я тебя понимаю правильно.
0 голосов
/ 04 декабря 2010

Вызовите задание cron каждую 1 минуту, что бы получить RSS и спать по 15 секунд четыре раза. Вы можете заблокировать, чтобы предотвратить наложение (хотя вставка базы данных обеспечивает некоторую степень контроля параллелизма).

Python-подобный псевдокод:

if cant_get_lock:
    exit
else:
for i in (1,2,3,4):
    get RSS
    sleep 15 seconds
...