Как вернуть оригинальное сохранение журнала после чистки тем кафки - PullRequest
0 голосов
/ 16 мая 2018

У нас есть 3 версии машин kafka - 0.10.0.2.6

Мы хотим очистить все файлы данных по всем темам kafka (очистить полностью все данные)

CLI для этого действия должен быть (должен запускаться с сервера зоопарка)

kafka-topics.sh --zookeeper localhost:2181 --alter --topic Topic1 --config retention.ms=1000
kafka-topics.sh --zookeeper localhost:2181 --alter --topic Topic2 --config retention.ms=1000
kafka-topics.sh --zookeeper localhost:2181 --alter --topic Topic3 --config retention.ms=1000
kafka-topics.sh --zookeeper localhost:2181 --alter --topic Topic4 --config retention.ms=1000
.

..

Поскольку мы временно обновляем время хранения по теме до одной секунды (1000 мс)

Тогда как вернуть предыдущее первоначальное сохранение!

Примечание - log.retention.hours = 168 (из пользовательского интерфейса ambari), и это исходное значение

Так как же вернуть исходное значение ( 168 часов) по всем темам?после очистки всех тем?

СПИСОК ТЕМ

/usr/hdp/2.6.0.3-8/kafka/bin/kafka-topics.sh  --list --zookeeper localhost:2181
__consumer_offsets 
_schemas
hrtfsa.polr.mdr.initial
hrtfsa.polr.pri.content_analysis
hrtfsa.polr.pri.decoded
hrtfsa.polr.pri.enriched.suspected_relation
hrtfsa.polr.pri.id_correlation
hrtfsa.polr.pri.processed
hrtfsa.polr.suspected_relations
hrtfsa.monitoring.heartbeat

Я нашел это (https://gist.github.com/dmitz/47e230b35d84df900c2d57370f4e85b2)

очистить тему:

kafka-topics --zookeeper <zookeeper_address> --alter --topic <topic_name> --config retention.ms=1000

вернуть значение сохранения orig:

kafka-topics --zookeeper <zookeeper_address> --alter --topic <topic_name> --delete-config retention.ms

Это правильно для версии 0.10.0.2.6?

...