У нас есть задание Apache луча, которое читает из kafka и записывает в ES. Если что-то (optimisti c блокировка) не удается, оно помещает событие в тему мертвой буквы, все работает гладко, за исключением того, что контрольная точка rockdb растет и сейчас будет 1 ГБ.
- есть ли способ чтобы сообщить Rock db об отказе от размера состояния через некоторое время?
kafka --> ESInsert-->Notify
| |
-------------------
у нас нет никаких состояний для хранения .. все, что нам нужно, ie - это если сообщение успешно обработано и смещение совершено, нам больше не нужно сообщение.