Зависимости пакетных заданий с использованием открытого исходного кода / свободного программного обеспечения

Question

Я управляю большим хранилищем данных, где у нас много одновременных ночных заданий, но многие из них зависят от процесса извлечения или загрузки данных до их запуска. В настоящее время мы используем «дорогую систему планирования», чтобы планировать их на данный момент.

Можно ли как-нибудь настроить зависимости заданий, используя открытый исходный код или бесплатный инструмент unix / linux, такой как cron?

Переход на открытое решение будет полезен и сэкономит нам много!

С уважением, Мэтт

Answer 1

Cfengine можно заставить сделать что-то подобное. Вы можете настроить его как замену cron, запускать произвольные команды в запланированное время, и вы можете настроить «классы» так, чтобы определенные действия выполнялись, только если определенные классы включены. Классы могут быть любыми: от «это система Linux» до «это в настоящее время от 5 до 10 минут после часа», «загрузка системы превышает значение х», «эта произвольная команда оболочки, которую я только что указал, вернула истину», так что вы может настроить ваши классы, чтобы указать ваши рабочие зависимости.

Я сомневаюсь, что это было бы так же эффективно, как система планирования (зависимости должны были бы быть установлены вручную путем настройки классов, для одновременного планирования потребовались бы дополнительные сценарии или настройка), но это бесплатный и открытый исходный код.

Версия 2 Cfengine не была особенно приятной для работы (по словам Seth Vidal , «это [sic] синтаксис убивает котят»). Я не использовал Cfengine 3. Puppet имеет те же цели дизайна, что и Cfengine, и с ним легче работать.

Answer 2

Schedulix - это решение для автоматизации рабочей нагрузки с открытым исходным кодом для Linux: http://www.schedulix.org

Answer 3

Cron не обрабатывает это изначально. Может ли процесс, который загружает данные, записать файл состояния после завершения? Это позволит последующим заданиям проверять файл состояния перед выполнением их реальной работы. Очевидно, что это не идеальное решение (я подозреваю, что слишком много точек отказа), но, возможно, этого достаточно для достижения ваших целей.

Answer 4

Я задал похожий вопрос в прошлом году (может быть, Serverfault будет лучше в наши дни?). К сожалению, решения для установки и запуска не существует.