Есть идеи для динамического масштабирования работы?

Question

Если есть тема кафки с 10 разделами, и мы хотели бы использовать flink для ее использования. Мы хотим, чтобы система динамически распределяла слоты в соответствии с рабочей нагрузкой, а это означает, что если рабочая нагрузка мала, то в работе flink может использоваться меньше слотов (с меньшим параллелизмом), а если рабочая нагрузка высока, она может выполняться с более высоким параллелизмом. Есть ли хороший способ добиться этого? Кажется, что параллелизм можно изменить, остановив работу первым. Если да, влияет ли период паузы на функцию приложения в реальном времени? Любые другие идеи, чтобы изменить параллелизм? Большое спасибо.

Answer 1

Существует вызов API REST и команда CLI для изменения параллелизма выполняемого задания, но в настоящее время единственным способом перераспределения состояния является создание точки сохранения и перезапуск Исходя из этого, вот как работает масштабирование (пока).

Если ваше приложение использует обработку времени события, то перезапуск не должен влиять на результаты, но, конечно, он будет задерживаться из-за простоя.

Answer 2

Есть ли хороший способ добиться динамического масштабирования?

Насколько я знаю, ответ пока НЕТ. Тем не менее, мы можем сказать, что это было рассмотрено из FLIP-6 Flink Development and Process Model .

Влияет ли период паузы на функцию приложения в реальном времени?

Да. Затраты времени будут на отмену, перезапуск, перераспределение ресурсов и состояний и т. Д.