Режимы развертывания Flink vs Spark в многоузловом кластере - PullRequest
0 голосов
/ 06 ноября 2019

В Spark три знакомых мне варианта развертывания кластера (не локальных):

  • Автономный
  • Mesos
  • Пряжа

Возможно, есть и другие параметры развертывание кластера , но я обеспокоен этими тремя. Все три указанных выше режима поддержки client и cluster . Режим client включает в себя запуск программы драйвера с самого пограничного компьютера, а режим cluster - запуск драйвера на одном из рабочих узлов внутри кластера.

Теперь, на стороне Flink, у меня есть только опыт установки с 1 узлом, который я узнал из некоторого учебника, который на самом деле не разрабатывал экосистему и был сосредоточен больше на коде, чем "также", чтобы обеспечить общую картину. Я искал вариантов развертывания во Flink , поэтому, чтобы понять это. В документации говорится о всех трех опциях: Standalone, Mesos и YARN, но из документов не станет ясно, поддерживает ли она (что мы в жаргоне Spark называем как) режим клиента или режим кластера или и , или , другой режим .

Идея состоит в том, чтобы заменить кластер Spark на Flink. Я хочу понять шаги, пока выполняю их. Шаги доступны в документах. Обоснование этих шагов либо неявно (достаточно для меня, чтобы я не понимал), либо просто отсутствует.

Объяснение экспертов / участников Apache Flink поможет.

1 Ответ

1 голос
/ 06 ноября 2019

Недавно в списке рассылки Flink обсуждалась эта тема:

(название темы: [DISCUSS] Семантика и реализация режима для каждого задания )

https://lists.apache.org/thread.html/6c688a73b281d38670a74f05d63f2858f59da1f37bc7211640de7ca8@%3Cuser.flink.apache.org%3E

В настоящее время вся передача заданий из интерфейса командной строки flink работает в режиме Spark client .

Опция выбора, позволяющая иметь что-то похожее на режим кластеравероятно, будет доступен в будущем (как, по-видимому, указано в списке рассылки), особенно в связи с быстро растущим числом развертываний Flink в кластерах Kubernetes.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...