Где установить сервер заданий livy или spark в настройке cloudera - PullRequest
0 голосов
/ 19 октября 2018

Наша настройка Google Analytics выглядит следующим образом: настройка cloudera присутствует на Unix-сервере.Наше веб-приложение отправит вызов на платформу больших данных (наша сеть находится в частном облаке, ssh не разрешен в моем облаке).Мне нужно сделать api-запрос rest из Интернета на сервер spark (который является частью настройки cloudera). Поэтому мы решили использовать сервер заданий livy или spark.Теперь мне нужно знать, где мы должны установить сервер заданий livy или spark ... должен ли он быть установлен в датодане или в случае пряжи мне нужно установить его там, где установлен менеджер ресурсов, или мы можем установить егов совершенно другой коробке Unix.

1 Ответ

0 голосов
/ 19 октября 2018

вы можете установить livy на любом сервере, который является частью вашего кластера hadoop.
сервер не обязательно должен быть каналом данных, вы можете добавить его как шлюз в кластер.

aузел шлюза, это сервер, который находится в сети кластера, также может выступать в качестве шлюза для внешних служб для доступа к кластеру.
Более подробную информацию о настройке узла шлюза можно найти здесь: https://www.cloudera.com/documentation/enterprise/5-3-x/topics/cdh_sg_gateway_setup.html

...