Каков наилучший способ запрашивать состояние приложения Spark и программно уничтожать его по требованию? - PullRequest
0 голосов
/ 02 июля 2018


Не могли бы вы посоветовать мне, как лучше всего запросить состояние искрового приложения, отправленного на пряжу и уничтожить его по требованию? Оба программно.

Что я хочу сделать: Мне нужно предоставить простой пользовательский интерфейс, который будет отслеживать отправленные приложения spark - их состояние, время работы и возможность уничтожать его по требованию.

Я надеялся, что смогу сделать что-то вроде этого (из Java):

  • отправить искру заявку на пряжу с некоторым идентификатором
  • получить список искровых заявок, поданных на пряжу
  • убить приложение, указав id

Принимая во внимание, что подача искрового приложения из кода Java проста, мне показалось странным, как запрашивать его состояние и убивать его.

Я понимаю, что смогу добиться этого, используя:

  • искровой jobserver * * тысяча двадцать одна
  • Менеджер ресурсов REST API

через REST, что мне бы достаточно.

Мой вопрос - есть ли другой простой способ? Возможно ли сделать это напрямую из Java-кода с помощью Java-библиотек Yarn / Spark? Или каков рекомендуемый способ сделать это?

Большое спасибо.

...