Знает ли Flink о добавлении раздела Kafka во время выполнения - PullRequest
1 голос
/ 07 октября 2019

У меня вопрос по поводу Flink-Kafka Источник:

Когда приложение Flink запускается после восстановления с контрольной точки и работает нормально.

Во время работы несколько разделов Kafka добавляются вКафка тема, будет ли запущенное приложение flink знать об этих добавленных разделах и читать их без ручного труда? или мне нужно перезапустить приложение и позволить flink знать об этих разделах во время запуска?

Не могли бы вы указать мне код, в котором Flink обрабатывает изменения разделов Kafka, если добавление разделов не требует ручного труда. Я не нашел логику в коде.

Спасибо!

1 Ответ

1 голос
/ 07 октября 2019

Похоже, что Flink будет знать о новой теме и новом разделе во время выполнения, последовательность вызовов метода:

FlinkKafkaConsumerBase#run

FlinkKafkaConsumerBase#runWithPartitionDiscovery

FlinkKafkaConsumerBase#createAndStartDiscoveryLoop

Это последний метод, он будет запускать новую тему, чтобы периодически открывать новые темы / разделы

...