Apache Flink: количество TaskManager на машину

Question

Количество ядер ЦП на машину равно четырем.В автономном режиме Flink, как мне установить количество TaskManager на каждом компьютере?

1. 1 TaskManager, каждый TaskManager имеет 4 слота.
2. 2 TaskManager, каждый TaskManager имеет 2 слота.
3. 4 TaskManager, каждый TaskManager имеет 1 слот.Этот параметр похож на apache-storm.

Answer 1

Обычно у вас будет один TaskManager на сервер и (в соответствии с документом, на который ссылается bupt_ljy) один слот на физическое ядро ​​ЦП.Так что я бы пошел с вашим вариантом № 1.

Answer 2

Есть также рассмотрение алгоритма планирования Флинка.Мы часто сталкиваемся с проблемами, когда из-за нескольких хостов, на которых выполняется один большой диспетчер задач, все задания планируются на одном хосте, что может вызвать проблемы с загрузкой.

В итоге мы создали несколько небольших диспетчеров задач для каждого хоста.и задания, кажется, распределяются лучше (хотя они по-прежнему часто кластеризуются на одном узле).

Так что, по моему опыту, я бы больше склонялся к 4 менеджерам задач с 1 слотом на деталь или, возможно, к компромиссу на 2диспетчеры задач с 2 слотами шт.

Answer 3

Я думаю, это зависит от вашего приложения.

В официальных документах Распределенная среда выполнения гласит: Как правило, хорошим числом по умолчанию для слотов задач будет количество ядер ЦП.При использовании гиперпоточности каждый слот получает 2 или более контекста аппаратного потока.

Но если вам нужно использовать много памяти в приложении, вам не нужно слишком много слотов в одномдиспетчер задач.