Вопросы системы фермы очереди - PullRequest
1 голос
/ 26 августа 2010

До сих пор нам не нужно было внедрять систему очередей в нашу инфраструктуру, но теперь нам нужны некоторые функции, которые нельзя выполнить с помощью заданий cron (слишком медленно).

Наша инфраструктура - LAMP (PHP) с некоторым NoSQL.

Я посмотрел на Gearman, и он, кажется, идеально подходит для наших нужд.Я знаю, что Digg использует его, как и Yahoo, поэтому он должен быть надежным.

  • Существуют ли какие-либо инструменты управления, которые автоматически запускают работника, когда он умирает или когда создаются новые задачи?

  • Как вы работаете с несколькими проектами в одной инфраструктуре (у проекта A есть 5 задач, у проекта B - 10, у проекта C - 1)

  • Есть ли способ легко выполнять периодические задачи?

Я видел Celery, и он выглядит хорошо, но кажется, что это только для AMQP (или только для RabbbitMQ), но в Python, и я не нашел много информации о том, можете ли вы использовать не-Python задачи.

Спасибо

1 Ответ

0 голосов
/ 27 августа 2010

Celery поддерживает задачи webhook, что позволяет ему вызывать другие языки через HTTP:

http://celeryq.org/docs/userguide/remote-tasks.html

Celery также поддерживает Redis, MongoDB, MySQL / PostgreSQL / Oracle и beanstalkd: http://celeryq.org/docs/tutorials/otherqueues.html

RabbitMQ - самый надежный выбор.

...