Можно ли установить меньшее количество разделов для Spring Kafka DLQ? - PullRequest
0 голосов
/ 26 марта 2019

Мы изучаем варианты оптимизации использования дискового пространства.При этом мы смотрели на зарезервированное дисковое пространство разделами kafka.Прямо сейчас темы ошибок используют то же количество разделов, что и исходная тема.Нам не нужны разделенные разделы с ошибками, и kafka выделяет достаточно места для каждого раздела.

Итак, вопрос в том, можно ли установить меньшее количество разделов для dlq, используя недавно введенную конфигурацию dlqProducerProperties?

Когда мы взломали немного меньшего числа разделов в коде, мы столкнулись с некоторой проблемой, что сообщения не могли быть перемещены в dlq, потому что целевой раздел не совпадал.Я предполагаю, что индекс раздела исходного сообщения используется повторно, чтобы переместить его в место назначения dlq (к тому же индексу раздела), но он имеет только 1 вместо 9 разделов.Это ограничение клиента kafka или весеннего облачного потока?

1 Ответ

0 голосов
/ 26 марта 2019

Связыватель в настоящее время сопоставляет разделы 1: 1 с темой DLQ;это для сохранения порядка (для тех пользователей, которые заботятся).

В проекте Spring for Apache Kafka (используется связывателем), DeadLetterPublishingRecoverer имеет настраиваемый преобразователь назначения , который позволяетотправка мертвых писем в другой раздел в теме DLQ.

Однако в настоящее время эта программа не используется связывателем (где мертвые буквы предшествовали поддержке в основном проекте).

Пожалуйста, откройте новую функцию Проблема GitHub против связывателя .

...