Авто масштабирование кафки раздела в реальном времени - PullRequest
0 голосов
/ 20 декабря 2018

Я хотел бы знать, можем ли мы автоматически масштабировать раздел kafka в производственной системе в реальном времени?Я могу автоматически масштабировать моего потребителя, используя kubernetes HPA, однако это будет совпадать с количеством разделов, которые у меня есть.Пожалуйста, совет.

1 Ответ

0 голосов
/ 21 декабря 2018

Вы можете увеличить тему, да, но в Kafka нет автоматического способа сделать это.

И даже если это может быть автоматизировано, вы потеряете порядок сообщений с ключами, потому что теперь производитель пересчитает значение раздела, куда отправлять сообщения.Кроме того, существующие данные в разделах не будут автоматически перемещаться, поэтому масштабирование темы с учетом существующей нагрузки не принесет пользы, поскольку все новые разделы будут пустыми

В настоящее время нет способа уменьшить масштабтема, и даже для уменьшения размера кластера требуется ручное вмешательство, чтобы истощить реплики и переместить разделы

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...