Флинк, как открыть все разделы кафки по ключу - PullRequest
0 голосов
/ 06 октября 2019

Я использую «keyby» в моем потоке данных. Я хочу, чтобы Flink обнаружил все разделы Кафки по ключам. У меня 30 разделов и 12 заданий. Я "keyby" мои данные по идентификатору пользователя. Я думаю, что Flink для каждой задачи просто обнаруживает определенный раздел kafka, и я не могу обнаружить все данные на пользователя в одной задаче.

1 Ответ

0 голосов
/ 06 октября 2019

Flink, как правило, не делает никакой связи между разделением, выполняемым во время потоковой обработки через keyBy, и разделением, которое существует на уровне потокового хранения в Kafka. Если вы используете keyBy в потоке, поступающем от потребителя Kafka, все события для каждого пользователя будут обрабатываться вместе, независимо от того, с какого раздела kafka они поступают.

Я не понимаю, что вы пытаетесь сделатьда, но вы можете прочитать о том, как Flink обрабатывает поиск тем и разделов Kafka в документации .

...