Переместить сгенерированные скриптом данные в тему Кафки, а затем в HDFS.

Question

У меня есть скрипт для подсчета количества сообщений в определенной теме Kafka, и он может быть выполнен только на сервере Kafka.Вывод скрипта должен быть перенесен в Hive / HDFS.Так можно ли переместить его в тему Kafka, а затем переместить в HDFS с помощью разъема HDFS Sink?Если да, как я могу переместить данные, сгенерированные из скрипта, в тему Кафки?Также дайте мне знать, если есть лучшее решение.

Answer 1

как я могу переместить данные, сгенерированные из скрипта, в тему Kafka

Вы можете перенаправить вывод команды в тему Kafka

your_script.sh | kafka-console-producer --topic foo --broker-list xx:9092 

Или вы можетеПерепишите ваш скрипт на каком-нибудь языке, на котором есть клиент Kafka.например, Python

---

Кроме того, вы можете посмотреть на настройку Apache Nifi, затем запустить там скрипты и загрузить результаты в HDFS / Hive.

---

Если вы хотите интеграцию Kafka + Hive, Hortonworks только что объявил Hive-Kafka