Apache Spark и Ливий кластер

Question

Сценарий:

• У меня есть искровой кластер и
  Я также хочу использовать Livy .
• Я новичок в жизни Ливи

Проблема:

• Я создал свой искровой кластер с помощью Docker Swarm и
  Я также создам сервис для Livy.

• Может ли Ливи связаться с внешним искровым мастером и отправить задание внешнему искровому мастеру?
  Если все в порядке, какую настройку нужно выполнить?
  Или на главном узле искры должен быть установлен Livy?

Answer 1

Я думаю, что немного поздно, но я надеюсь, что это поможет вам.

извините за мой английский, но я мексиканец, вы можете использовать докер для отправки работ через livy, но вы также можете использовать livy дляотправка заданий через Livy REST API.

Ливий-сервер может находиться за пределами кластера искр, вам нужно только отправить файл конфигурации в livy, который указывает на ваш искровой кластер.

Это выглядит как выработают спарк автономно, простой способ настроить livy для работы заключается в том, что livy живет на главном узле spark, если у вас уже есть YARN на ваших кластерных машинах, вы можете установить livy на любом узле и запустить приложение spark в yarn-cluster или yarn-clientРежим.