Как отправить искровую работу Удаленно

Question

У меня есть сервер Nodejs, на котором не установлена ​​spark, и у меня есть spark с настройкой YARN на другом сервере.

Требуется, чтобы задание спарка с сервера Nodejs выполнялось удаленно. Может кто-нибудь помочь с этим?

Спасибо за быстрый ответ.

Answer 1

Невозможно запустить процесс удаленно. Я предлагаю вам следующие способы,

1. Установите Spark там, где работает ваш Node-сервер, и используйте его в качестве клиента, чтобы указать на фактический спарк-кластер. Сервер вашего узла может использовать этот клиент для запуска задания в режиме клиента на удаленном кластере.
2. Вы можете установить остальные API на кластере искр и позволить вашему узлу-серверу достичь конечной точки этого API, которая будет запускать задание.

При разработке приведенных выше ответов вариант 1 предполагает, что искра установлена ​​в обеих системах - системе с узлом-сервером и фактическим искровым кластером. Spark на узле сервера действует клиентом для основного спарк-кластера. Вариант 2 фокусируется на создании API отдыха, который обрабатывает триггеры, и эти триггеры инициируют работу спарк непосредственно в главном кластере, это экономит 2 установки.

Надеюсь, это поможет.