Дженкинс как JobServer на Hadoop EdgeNode - PullRequest
Новая
       33

Дженкинс как JobServer на Hadoop EdgeNode

0 голосов
/ 07 ноября 2018

Я не уверен, что кто-то может мне помочь, но я попробую.

Я запускаю Jenkins на Openshift-Cluster, чтобы использовать его для развертывания и в качестве сервера заданий для выполнения ETL-заданий. Эти задания передают данные из плоских файлов в базы данных и из базы данных в базу данных.

Теперь я должен расширить систему для передачи данных в кластер hadoop с помощью MapR. Я хотел бы знать, как я могу использовать новый Jenkins-Slave в качестве сервера заданий на узле EdgeNad из кластера hadoop с использованием MapR. Нужен ли Jenkins на EdgeNode или я могу использовать MapR с моего существующего Jenkins-Jobserver?

Мэйби, кто-то может мне помочь или у него есть информация / ссылки, как ее решить.

Спасибо всем ....

1 Ответ

0 голосов
/ 07 ноября 2018

«Использовать MapR» не совсем понятно для меня, потому что я просто рассматриваю его как Hadoop в конце дня, но вы можете эффективно сделать свой подчиненный Jenkins «пограничным узлом», установив только Java Hadoop (возможно, также MapR) клиентские утилиты плюс любые файлы конфигурации XML с других пограничных узлов, которые определяют способ связи с кластером.

Тогда Дженкинс сможет запустить sh("hadoop jar app.jar"), например

Если вы используете Openshift, вы также можете попробовать поместить клиент Hadoop в образ Docker, который может работать в Jenkins или где-либо еще

...