Шаги по удалению данных внутри Kafka Topi c на Windows?

Question

Я работаю над Spring Batch и Apache Kafka Integration. Перед тем как опубликовать вопрос, я перешел через Интернет: Есть ли способ удалить все данные из topi c или удалить topi c перед каждым запуском? , чтобы найти лучшее решение, но не смог выяснить.

Я использую Kafka версии 2.11.

Я хочу удалить все данные в топи c без остановки Zookeeper или Kafka. Как мы можем это сделать?

Приведенные ниже команды вызывают множество проблем в windows

C:\kafka_2.11-2.3.1\bin\windows>kafka-topics.bat --zookeeper localhost:2181 --delete --topic customers
Topic customers is marked for deletion.
Note: This will have no impact if delete.topic.enable is not set to true.

C:\kafka_2.11-2.3.1\bin\windows>kafka-topics.bat --zookeeper localhost:2181 --delete --topic test

C:\kafka_2.11-2.3.1\bin\windows>kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic customers --from-beginning
[2020-04-21 10:25:02,812] WARN [Consumer clientId=consumer-1, groupId=console-consumer-65075] Connection to node -1 (localhost/127.0.0.1:9092) could not be established. Broker may not be available. (org.apache.kafka.clients.NetworkClient)
[2020-04-21 10:25:04,886] WARN [Consumer clientId=consumer-1, groupId=console-consumer-65075] Connection to node -1 (localhost/127.0.0.1:9092) could not be established. Broker may not be available. (org.apache.kafka.clients.NetworkClient)
[2020-04-21 10:25:06,996] WARN [Consumer clientId=consumer-1, groupId=console-consumer-65075] Connection to node -1 (localhost/127.0.0.1:9092) could not be established. Broker may not be available. (org.apache.kafka.clients.NetworkClient)
[2020-04-21 10:25:09,267] WARN [Consumer clientId=consumer-1, groupId=console-consumer-65075] Connection to node -1 (localhost/127.0.0.1:9092) could not be established. Broker may not be available. (org.apache.kafka.clients.NetworkClient)
[2020-04-21 10:25:11,744] WARN [Consumer clientId=consumer-1, groupId=console-consumer-65075] Connection to node -1 (localhost/127.0.0.1:9092) could not be established. Broker may not be available. (org.apache.kafka.clients.NetworkClient)
Processed a total of 0 messages
Terminate batch job (Y/N)?
^C
C:\kafka_2.11-2.3.1\bin\windows>

Answer 1

Я использую Kafka версии 2.11.

Кафки 2.11 нет. Ваша командная строка говорит kafka_2.11-2.3.1: следовательно, вы используете Kafka 2.3.1. Версия 2.11 - это Scala версия.

Примечание. Это не повлияет, если для delete.topi c .enable не задано значение true.

Сделано вы проверяете настройки вашего брокера, если delete.topic.enable установлен на true? Если да, вы сможете удалить топи c без остановки ZK или брокеров. Обратите внимание, что удаление тем asyn c, т. Е. При возврате команды topi c еще не удалено, и до ее выполнения потребуется некоторое время.