реализация очереди заданий для python

Question

Вы знаете / используете какую-либо распределенную очередь заданий для python? Можете поделиться ссылками или инструментами

Answer 1

Pyres - это клон, созданный в Python. Resque используется Github в качестве очереди сообщений. Оба используют Redis в качестве бэкенда очереди и предоставляют веб-приложение для мониторинга.

http://binarydud.github.com/pyres/intro.html

Answer 2

Сильвен Хеллегуарх также может найти «бакер», который вы можете найти здесь:

• http://trac.defuze.org/wiki/bucker

Он описывает себя так:

• bucker - это система очередей, которая поддерживает несколько хранилищ для очереди (пока memcached, Amazon SQS) и управляется XML-сообщениями, отправляемыми по TCP-соединениям между клиентом и сервером очереди.

Answer 3

В дополнение к многопроцессорности есть также проект Celery , если вы используете Django.

Answer 4

Если вы считаете, что Celery слишком тяжел для ваших нужд, вы можете взглянуть на простую распределенную очередь задач:

• https://github.com/rojkov/taskqueue
• http://simpletaskqueue.readthedocs.org/

Answer 5

redqueue? Он реализован в фреймворке python + tornado, говорит по протоколу memcached и, при желании, сохраняется в файлах журнала. В настоящее время он также может вести себя как beanstalkd, способ резервирования / удаления в протоколе memcache.

REDQUEUE

Answer 6

Посмотрите на beanstalkd

Answer 7

Это год с опозданием или что-то в этом роде, но это то, что я взломал вместе, чтобы создать очередь процессов, выполняющих их только по X раз за разом. http://github.com/goosemo/job_queue

Answer 8

Также есть Unix 'на'

Для получения дополнительной информации: человек на

Answer 9

Возможно, вы захотите взглянуть на очередь многопроцессорной обработки. Включенный в Python 2.6, получите его на PyPI для более ранних версий Python.

Стандартная библиотечная документация: http://docs.python.org/library/multiprocessing.html На PyPI: http://pypi.python.org/pypi/multiprocessing