Принудительно перезагрузить хранилище ключей / значений Samza при поддержке RocksDB из списка изменений kafka?

Question

Чтобы отладить производственную проблему, я запускаю код Samza локально, используя ProcessJobFactory. Кажется, все работает нормально.

Код использует хранилище ключей / значений Samza, поддерживаемое RocksDB и Kafka, в качестве журнала изменений (Kafka работает на другом компьютере, если это имеет значение).

По порядку чтобы заполнить среду реальными данными для отладки, я воспроизвел живые данные в журнале изменений Kafka для хранилища ключей / значений для базы данных RocksDB с остановленным заданием Samza.

При запуске Samza это не не resyn c база данных RocksDB с журналом изменений Kafka. Я проверил это, используя Keylord (инструмент) и непосредственно просмотрев содержимое базы данных RocksDB.

Как можно заставить Самзу повторно синхронизировать c базу данных RocksDB (хранилище ключей / значений) с журналом изменений? Можно ли выполнить настройку конфигурации или вызов на уровне кода?

Связано - я предполагаю, что когда код выполняет key-value-store.all (); что даже если кэш в коде пуст, он будет go в RocksDB и вытянет оттуда "все записи"?

Спасибо,

Answer 1

Вы пытались удалить каталог магазина, в котором задание samza размещает свои хранилища RocksDB? Он будет находиться в заданном вами файле job.logged.store.base.dir https://samza.apache.org/learn/documentation/latest/jobs/configuration-table.html, по умолчанию это свойство среды user.dir