Мониторинг Spark Cluster из терминала (без пользовательского интерфейса) - PullRequest
1 голос
/ 06 августа 2020

Есть ли способ контролировать Spark без какого-либо пользовательского интерфейса непосредственно из терминала?
Я хотел бы запускать команды и получать, помимо прочего, состояние работоспособности моего кластера (драйвер и рабочие), не покидая терминал каждые time and refre sh пользовательский интерфейс, не говоря уже о том, что доступ к пользовательскому интерфейсу невозможен (корпоративные брандмауэры или что-то еще)

  • Я знаю, что есть интерфейс REST - вот где пользовательский интерфейс всасывает свою информацию - но скручивание это довольно кропотливо.
  • Nag ios / Ganglia также основаны на пользовательском интерфейсе, если я не ошибаюсь
  • Lynx - это браузер терминала, но это все еще пользовательский интерфейс терминала.
  • SparkListeners могут выполнять нормальную работу, но это не интерактивно во время выполнения

Я думаю, что это было бы удобно при выполнении задач администрирования системы / кластера.
Любое идеи?

...