произвольный раздел в кафке с использованием .net (с использованием алгоритма на основе хеша)

Question

Я хочу использовать пользовательский раздел в kafka с помощью приложения .net. Я создал тему, которая разделена на 15 разделов. У меня есть несколько сообщений, которые приходят на наши веб-сервисы. Я хочу использовать раздел таким образом, чтобы каждое сообщение попадало в его раздел, когда оно поступает в наш сервис. каждое сообщение имеет уникальный идентификатор и всегда идет с этим идентификатором. Итак, предположим, что сообщение пришло с идентификатором 2345 и в первый раз оно сохраняется в разделе 1, тогда всегда это сообщение должно идти в этот раздел.

В Java я нашел некоторый код, который использовал алгоритм, основанный на хэше, чтобы вращать сообщение в разделе. мы можем реализовать эти функции в .net ?. Я нашел кое-что в librdkafka, но эта функция находится в стадии разработки. Я должен реализовать пользовательский разделитель в Кафке с помощью .net.

Пожалуйста, помогите мне или дайте мне предложение.

Спасибо

Answer 1

Если я правильно понимаю ваш вариант использования, вы хотите, чтобы сообщение с определенным идентификатором было сохранено в определенном разделе.

Кафка достаточно умен, чтобы справиться с этим, вы должны использовать идентификатор в качестве ключа сообщения, Кафка определит раздел, используя тот ключ, который, как я предполагаю, не будет изменяться для конкретного типа сообщения. Kafka всегда будет хранить сообщение с одним и тем же ключом в определенном разделе.