Кафка местный государственный магазин из нескольких перегородок - PullRequest
0 голосов
/ 21 января 2019

Я использую процессор kafka api и создаю хранилище состояний из темы из 3 разделов (у меня есть 3 брокера), у меня есть 1 экземпляр потока.Интересно узнать, когда я получу местный государственный магазин, могу ли я получить все ключи?Почему определенные ключи работают, а некоторые нет?Это нормально?Спасибо

1 Ответ

0 голосов
/ 22 января 2019

Число экземпляров приложения для этого случая не имеет значения. Поскольку входная тема имеет 3 раздела, хранилище состояний создается с 3 шардами. Обработка происходит с 3 параллельными задачами. Каждая задача создает копию вашей топологии, обрабатывает один входной раздел темы и использует один осколок.

Сравнить: https://kafka.apache.org/21/documentation/streams/architecture

Если вы хотите получить доступ к разным шардам, вы можете использовать функцию «Интерактивные запросы» для поиска ключа / значения (и запроса диапазона ключей) по всем шардам.

Кроме того, это понятие глобального хранилища состояний, которое будет загружать данные из всех разделов в одно хранилище (не разделяя). Однако он обеспечивает другую семантику по сравнению с «обычными» хранилищами, поскольку обновления хранилища не синхронизированы по времени с другой обработкой.

...