Запрос Hadoop Job Scheduling - PullRequest
       32

Запрос Hadoop Job Scheduling

1 голос
/ 18 августа 2011

Я новичок в Hadoop.

Насколько я понимаю, Hadoop Framework запускает задания в порядке FIFO (планирование по умолчанию).

Есть ли способ сообщить платформе о запускеработа в определенное время?

т.е. есть ли способ настроить ежедневное выполнение задания в 3 часа дня?

Любые замечания по этому вопросу очень ценятся.

Спасибо, R

Ответы [ 4 ]

4 голосов
/ 19 августа 2011

вы могли бы рассмотреть возможность использования Oozie (http://yahoo.github.com/oozie/). Это позволяет (помимо прочего):

Частота выполнения: спецификация рабочего процесса Oozie поддерживает как данные, так и триггеры времени. Пользователи могут указать частоту выполненияи может ожидать поступления данных для запуска действия в рабочем процессе.

Он не зависит от каких-либо других планировщиков Hadoop и должен работать с любым из них, поэтому, вероятно, в вашей конфигурации Hadoop ничего не изменится.

4 голосов
/ 18 августа 2011

А как насчет вызова задания из внешнего фреймворка Java, например, Quartz?Тогда вы можете запустить работу, как вы хотите.

0 голосов
/ 25 июля 2012

Я бы воспользовался коммерческим приложением для планирования, если бы Cron его не обрезал, и / или специальным решением для рабочего процесса. Мы используем решение, называемое джемом, но имейте в виду, что оно ориентировано на .net.

0 голосов
/ 01 февраля 2012

Как насчет наличия сценария для выполнения задания Hadoop, а затем использования команды at для выполнения в определенное время. Если вы хотите, чтобы задание выполнялось регулярно, вы можете настроить задание cron для выполнения сценария.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...