Может ли Flink запускать несколько одинаковых заданий для достижения псевдодинамического масштабирования?

Question

Мы работаем над тем, как выполнить динамическое масштабирование заданий Flink.Задача о том, чтобы прочитать потоковую тему в теме Кафки и выполнить ... затем погрузиться в другую тему Кафки.Мы знаем, что задача flink должна быть сначала остановлена, чтобы изменить параллелизм, а это не то, что нам нужно.

Поскольку мы не можем динамически добавлять ресурсы к задачам без остановки заданий flink, можем ли мы продублировать задания flink (которые потребляются через тот же groupid из раздела kafka) для повышения производительности?Кроме того, возможно ли использовать пряжу или kubernetes для управления этими заданиями и достичь псевдодинамического масштабирования для такой задачи на лету (с kafka)?

Answer 1

Есть ли причина, по которой вы не хотите изменять параллелизм, останавливая задание?

Вы можете сделать это, однако эффективно разделите данные между различными заданиями.Таким образом, вы не только понесете расходы, связанные с необходимостью понимать свою пропускную способность для нескольких заданий для эффективного автоматического масштабирования, но и сделаете так, чтобы любая выполняемая обработка с состоянием приводила к неверным / противоречивым результатам.