кафка как диспетчер сообщений моргать - разметка - PullRequest
0 голосов
/ 10 сентября 2018

У меня есть процесс, который должен отправить определенные данные на кластер Flink (через kafka), состоящий из 3 узлов. Насколько я могу предсказать, всего будет две разные темы. Все сообщения будут помечены. Порядок сообщений должен сохраняться.

Я не могу понять механизм разделения сообщений (ключ). Если я хочу иметь простой диспетчер сообщений, как описано выше, важен ли раздел сообщений? Если да, то на основании чего мне выбрать?

1 Ответ

0 голосов
/ 10 сентября 2018

Непонятно, какой порядок вам нужен (по какому-то UUID, серверу, производящему данные, по какому-либо другому типу событий и т. Д.), Но упорядочение сообщений Kafka гарантируется только в разделах любой темы, и любые потребители Kafka, включая Flink, гарантированнопрочитайте назначенный ему раздел по порядку.

Разделитель Kafka по умолчанию, используемый производителем, будет использовать алгоритм хеширования Murmur2 , если вы указали ключ.Если у вас есть нулевой ключ, он будет равномерно распределять все разделы.

Производитель Flink переписывает это поведение в прошлый раз, когда я проверял.См. FLINK-9610 .Если вы используете Flink только в качестве потребителя, вам не нужно беспокоиться об этом.

По умолчанию сообщения в Кафке помечены

...