Использование государственного хранилища Kafka Stream для хранения более 500 миллионов сообщений

Question

Я пытаюсь оценить, будет ли поток kafka с хранилищем состояний rockdb и использоваться ли в производстве с 500 миллионами сообщений в журнале изменений (тема состояния).

Вариант использования У меня есть около 8 различных данных темы, о которых я говорю,которые принадлежат разным командам, из этой темы я забочусь об определенной точке данных, поэтому я использую rockdb для хранения состояния объекта, к которому я добавляю необходимые данные из другой темы.

Используется ли поток kafka с хранилищем состояний таким образом?

Answer 1

Вы всегда можете использовать государственный магазин для хранения миллионов ключей.Это требует дискового пространства для хранения всех записей, как @ cricket007 также упоминалось.Как состояния сбрасываются в файловую систему.Обычно миллионы ключей вызывают проблемы с хранением или памятью.Пока у вас есть доступное хранилище, оно будет работать. Кроме того, вам нужно убедиться, что состояния не находятся в памяти.

По личному опыту, у меня есть около 100 миллионов ключей в нескольких хранилищах состояний, яСначала столкнулся с проблемой дискового пространства, но после добавления большего количества дисков он работает нормально.

Кроме того, вы можете прочитать больше о планировании емкости, чтобы получить некоторую справедливую идею: https://docs.confluent.io/current/streams/sizing.html