Представьте, что у меня есть кластер из трех узлов kafka, в котором есть 1000 тем с одним разделом. Каждая тема будет использоваться несколькими группами потребителей, скажем, 100 параллельно. Поэтому в целом может быть 1000 * 100 групп потребителей, потребляющих кафку параллельно.
Меня беспокоит, повлияет ли это на производительность в кластере kafka в более широком масштабе?
Кроме того, моя модель будет исходным потребителем для каждого пользовательского запроса и будет извлекать отдельные данные из очереди, а потребитель будет закрыт по окончании запроса. Для следующего запроса от того же пользователя потребитель снова будет запущен для той же группы и будет закрыт. Это будет повторяться для всех пользователей.
Правильно ли создавать и разрушать потребителя таким образом? Если нет, есть ли какой-либо другой правильный способ справиться с этим вариантом использования?