Как Кафка выбирает раздел для ключа?

Question

Предположим, что количество разделов является фиксированным для темы.И предположим, что я предоставляю ключ - массив байтов - при публикации сообщения.Кафка отобразит ключ на тематический раздел 0,1,2,3, ... N-1.

Я хотел бы сделать функцию, которая делает то же самое: задано N, и ключ возвращает тот же номер раздела, что и Кафка.

Это просто (в псевдокоде)) murmur3 (ключ)% N?

TIA

Answer 1

Насколько я знаю, Kafka хэширует ключ и раздел в соответствии с этим значением хэша.Вот полезная диаграмма и пример того, как.

Utils.abs (java.util.Arrays.hashCode (key.asInstanceOf [Array [Byte])))% numPartitions

Только что нашел еще один хороший пример разбиения!

Answer 2

DefaultPartitioner использует функцию murmur3 для вычисления раздела для сообщений с ненулевыми ключами.

Вы можете просто извлечь алгоритм и добавить его в свой код:

import org.apache.kafka.common.utils.Utils;
Utils.toPositive(Utils.murmur2(keyBytes)) % numPartitions;

Второй вариант - просто использовать DefaultPartitioner:

DefaultPartitioner partitioner = new DefaultPartitioner();
int partition = partitioner.partition(???, ???, ???, ???, ???, ???);