Как сохранить (Кафка) входы в базу данных (Cassandra или Hive)?

Question

Как хранить логи который от производителя к потребителю в базу данных Я следую приведенному ниже шагу после загрузки версии 0.9.0.0 и распаковываю ее.

1. $ bin/zookeeper-server-start.sh config/zookeeper.properties &

2. $ bin/kafka-server-start.sh config/server.properties

3. $ bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic fast-messages

$ bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic summary-markers

4. $ bin/kafka-topics.sh --list --zookeeper localhost:2181

5. $ cd .. $ mvn package

6. Запустить производителя

7. Запустить потребителя

Answer 1

Загрузите версию 0.9.0.0 и распакуйте ее.

Это очень старая версия Kafka ... Все шаги, которые вы использовали, работают точно так жеболее новые версии, и, вероятно, будет более стабильным.

---

Кафка не хранит свои данные (журналы) в базе данных.

---

Если вы хотите отправить данные, созданные Kafka, в другую систему, то включенный инструмент (начиная с Kafka 0.10) называется Kafka Connect и вы можете найти коннекторы, которые уже существуют для HDFS / Hive, а также для Cassandra.

Но вы можете написать любого Потребителя для записи в эти системы самостоятельно, Kafka просто не связывает этоиз коробки.