Как сгенерировать входные данные и сохранить их в локальном файле и Как мы можем прочитать данные этого сгенерированного входного файла с помощью kafka

Question

Для этого я запустил Zookeeper: bin/zookeeper-server-start.sh config/zookeeper.properties

, а затем сервер kafka: bin/kafka-server-start.sh config/server.properties

тема: bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic fast-messages

, каков следующий шаг длягенерация файла?

Answer 1

Для этого же вопроса я также сослался на другую ссылку и получил результат.Ссылка -> https://docs.confluent.io/current/streams/quickstart.html

Ниже приведены шаги, за которыми я следовал ->

Шаг 1: Запустите Zookeeper bin/zookeeper-server-start.sh config/zookeeper.properties

Шаг 2: Запустите kafkaсервер bin/kafka-server-start.sh config/server.properties

Шаг 3: создать тему с именем «fast-messages» bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic fast-messages

Шаг 4: Запустить Producer kafka-console-producer.sh --broker-list localhost:9092 --topic fast-messages --new-producer < my_file.txt

Шаг 5: Прослушанопотребителем:

/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic fast-messages --from-beginning

Answer 2

Вам нужно разобрать файл и написать из него производителя Kafka.

Или вы можете просто передать файл напрямую в Console Producer.

Как записать файл в Kafka Producer

или использовать KafkaConnect FileSourceConnector