пакетная обработка с зависимостями в python - PullRequest
4 голосов
/ 06 апреля 2011

Я ищу лучший способ создания планировщика заданий для разных типов заданий.CJobs являются многопоточными, и некоторые задания должны быть завершены до запуска следующего шага в этом процессе.Это все в настоящее время управляется через таблицу базы данных ... что я думаю, хорошо.Но если есть лучший способ управления зависимостями, я весь в ушах.

Желательно, чтобы я сделал это на python.Я вижу, что есть параллельный модуль Python, который выглядит великолепно, но обеспокоен этой проблемой зависимости между заданиями.

Может кто-нибудь порекомендовать что-нибудь, что делает то, что мне нужно, или как это сделать?

Большое спасибо!

D

ОБНОВЛЕНИЕ: Это должно быть выполнено на кластере серверов, каждый из которых имеет ограниченный набор доступных рабочих ... 1 на порт.Celery или SCon поддерживают это?

Ответы [ 3 ]

3 голосов
/ 02 января 2014

Луиджи выглядит очень интересно.Это позволяет вам создавать рабочие процессы - наборы связанных заданий, зависимостями которых управляет Луиджи.Он также имеет простой веб-интерфейс, обеспечивающий граф зависимостей.

1 голос
/ 06 апреля 2011

SCons могут быть полезны для этого.

Он смещен в сторону конструирования программного обеспечения (компиляция, компоновка и т. Д.), Но вы можете легко определить новые классы результатов, новые команды и новые исходные классы.так что он будет обрабатывать ваши данные (и зависимости) должным образом.

В зависимости от обновления вам, вероятно, понадобится что-то вроде BuiltBot .

1 голос
/ 06 апреля 2011

У меня был большой успех с Сельдереем

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...