Удаление записи из государственного магазина Кафка - PullRequest
0 голосов
/ 07 ноября 2018

У нас есть приложение для потоковой обработки, и в потоке мы извлекаем id и сохраняем его в хранилище состояний. Мой пример использования очень прост, мы храним идентификатор, потому что, когда мы получим запрос, мы будем проверять, присутствует ли идентификатор в магазине или нет. Проблема у нас, все события будут иметь уникальный идентификатор, и хранилище состояний в конечном итоге приведет к нехватке памяти. Данные в государственном хранилище не нужны через некоторое время.

  1. Есть ли способ иметь некоторую конфигурацию, чтобы состояние очищало данные через некоторое время в зависимости от конфигурации?

  2. Другой подход заключается в отправке надгробного сообщения с ключом, чтобы запись была удалена из хранилища. Но я чувствую, что это как-то больше работы, так как нам нужно отправить еще одно сообщение в тему и обработать его, чтобы удалить запись

  3. Как выполняется обработка ошибок в случае, если мы идем со вторым подходом?
  4. Есть ли способ вручную удалить запись из магазина. Если это так, каково будет влияние удаления записи из хранилища состояний?

1 Ответ

0 голосов
/ 07 ноября 2018
  1. Не атм. (ср https://issues.apache.org/jira/browse/KAFKA-4212)
  2. Это правильный подход.
  3. Без разницы. Если вы сделаете KeyValueStore#delete(), запись будет удалена из хранилища, а надгробная плита будет записана в тему журнала поддержки.
  4. Что вы подразумеваете под очередью?
Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...