Как вы полностью очищаете Apache Kafka?

Question

Я работаю над Spring Java micro-services, используя Apache Kafka для обмена сообщениями.Иногда я хочу полностью сбросить свой кластер Kafka (Zookeeper и брокер), чтобы я знал, что у меня есть чистый лист для тестирования.Тем не менее, мой брокер, похоже, все еще много знает о том, что нужно было удалить.

Среда - Windows 10, и я запускаю Kafka v2.12.2 из Cygwin.

Вот мой текущийпроцесс сброса настроек Kafka:

1. Остановить брокера
2. Stop Zookeeper
3. Удалить каталог данных
4. Перезапустить Zookeeper
5. Перезапустите брокер

На этом этапе я вижу, как в журнале брокера отображаются ссылки на смещения загрузки и группы потребителей.

Например:

[2018-10-23 09:38:49,118] INFO Replica loaded for partition __consumer_offsets-0 with initial high watermark 0 (kafka.cluster.Replica)
[2018-10-23 09:38:49,120] INFO [Partition __consumer_offsets-0 broker=0] __consumer_offsets-0 starts at Leader Epoch 0 from offset 0. Previous Leader Epoch was: -1 (kafka.cluster.Partition)

И:

[2018-10-23 09:38:49,171] INFO Replica loaded for partition __consumer_offsets-23 with initial high watermark 0 (kafka.cluster.Replica)
[2018-10-23 09:38:49,172] INFO [Partition __consumer_offsets-23 broker=0] __consumer_offsets-23 starts at Leader Epoch 0 from offset 0. Previous Leader Epoch was: -1 (kafka.cluster.Partition)
[2018-10-23 09:38:49,174] INFO Replica loaded for partition __consumer_offsets-1 with initial high watermark 0 (kafka.cluster.Replica)
[2018-10-23 09:38:49,174] INFO [Partition __consumer_offsets-1 broker=0] __consumer_offsets-1 starts at Leader Epoch 0 from offset 0. Previous Leader Epoch was: -1 (kafka.cluster.Partition)

И:

[2018-10-23 09:38:49,304] INFO [GroupMetadataManager brokerId=0] Scheduling loading of offsets and group metadata from __consumer_offsets-46 (kafka.coordinator.group.GroupMetadataManager)
[2018-10-23 09:38:49,304] INFO [GroupMetadataManager brokerId=0] Scheduling loading of offsets and group metadata from __consumer_offsets-49 (kafka.coordinator.group.GroupMetadataManager)
[2018-10-23 09:38:49,304] INFO [GroupMetadataManager brokerId=0] Scheduling loading of offsets and group metadata from __consumer_offsets-41 (kafka.coordinator.group.GroupMetadataManager)
[2018-10-23 09:38:49,305] INFO [GroupMetadataManager brokerId=0] Scheduling loading of offsets and group metadata from __consumer_offsets-44 (kafka.coordinator.group.GroupMetadataManager)
[2018-10-23 09:38:49,305] INFO [GroupMetadataManager brokerId=0] Scheduling loading of offsets and group metadata from __consumer_offsets-47 (kafka.coordinator.group.GroupMetadataManager)
[2018-10-23 09:38:49,305] INFO [GroupMetadataManager brokerId=0] Scheduling loading of offsets and group metadata from __consumer_offsets-1 (kafka.coordinator.group.GroupMetadataManager)
[2018-10-23 09:38:49,306] INFO [GroupMetadataManager brokerId=0] Scheduling loading of offsets and group metadata from __consumer_offsets-4 (kafka.coordinator.group.GroupMetadataManager)

РЕДАКТИРОВАТЬ # 1:

Ниже приведены несколько строк из моих файлов свойств.Если я удалю 'C: \ tool \ kafka \ data', я все равно увижу запись в журнале, аналогичную приведенной выше.

zookeeper.properties

dataDir=C:/tools/kafka/data/zookeeper

server.properties

log.dirs=C:/tools/kafka/data/kafka-logs

Answer 1

Оказывается, у меня был процесс, все еще подключенный к кластеру, и это привело к тому, что смещения были перестроены после запуска кластера.

Убедитесь, что 110% завершили каждый процесс, и удаление каталога данных работало должным образом.