Запрос Hadoop Job Scheduling

Question

Я новичок в Hadoop.

Насколько я понимаю, Hadoop Framework запускает задания в порядке FIFO (планирование по умолчанию).

Есть ли способ сообщить платформе о запускеработа в определенное время?

т.е. есть ли способ настроить ежедневное выполнение задания в 3 часа дня?

Любые замечания по этому вопросу очень ценятся.

Спасибо, R

Answer 1

вы могли бы рассмотреть возможность использования Oozie (http://yahoo.github.com/oozie/). Это позволяет (помимо прочего):

Частота выполнения: спецификация рабочего процесса Oozie поддерживает как данные, так и триггеры времени. Пользователи могут указать частоту выполненияи может ожидать поступления данных для запуска действия в рабочем процессе.

Он не зависит от каких-либо других планировщиков Hadoop и должен работать с любым из них, поэтому, вероятно, в вашей конфигурации Hadoop ничего не изменится.

Answer 2

А как насчет вызова задания из внешнего фреймворка Java, например, Quartz?Тогда вы можете запустить работу, как вы хотите.

Answer 3

Я бы воспользовался коммерческим приложением для планирования, если бы Cron его не обрезал, и / или специальным решением для рабочего процесса. Мы используем решение, называемое джемом, но имейте в виду, что оно ориентировано на .net.

Answer 4

Как насчет наличия сценария для выполнения задания Hadoop, а затем использования команды at для выполнения в определенное время. Если вы хотите, чтобы задание выполнялось регулярно, вы можете настроить задание cron для выполнения сценария.