Как идентифицировать RocksDb и сегменты - PullRequest
0 голосов
/ 19 февраля 2019

В следующей статье говорится, что Kafka Streams, если они используют оконные функции,'cksdb 'создаст сегмент для сохранения окон.

https://cwiki.apache.org/confluence/display/KAFKA/Kafka+Streams+Internal+Data+Management

The second difference is about RocksDB instances: instead of using a 
single instance, Streams uses multiple instances (called “segments”) 
for different time periods. After the window retention time has passed 
old segments can be dropped

Isэто все еще имеет место, в нашем приложении я пытаюсь идентифицировать эти сегменты, чтобы создать некоторую автоматизацию для удаления этих файлов, но пока наше приложение работает как 3 недели, а время хранения окна составляет один день, я не могу найти 21 такой файл сегмента ...

Является ли эта статья точной?

Спасибо за ответы ...

1 Ответ

0 голосов
/ 19 февраля 2019

Да, это все еще точно.Однако вы не должны вручную удалять эти файлы.Kafka Streams управляет состоянием, и вы можете покончить с поврежденным состоянием, если вы это сделаете.

Почему вы ожидаете 21 сегмент?

(Кроме того, более новые сегменты дескриптора выпуска немного отличаются. См. https://cwiki.apache.org/confluence/display/KAFKA/KIP-319%3A+Replace+segments+with+segmentInterval+in+WindowBytesStoreSupplier)

...