Как отправить данные из Kafka в ElasticSearch, используя python

Question

Я использую Python Language.У меня есть CSV-файл, мне нужно конвертировать в JSON и отправить в Kafka, а затем в ElasticSearch.

Я могу конвертировать CSV в JSON и отправить потребителю Kafka.Как получить данные из Kafka Consumer в ElasticSearch

Answer 1

Вам не нужно писать на Python.Сам Kafka предоставляет API потоковой интеграции, называемый Kafka Connect.Чтобы использовать его, вы просто конфигурируете его с файлами JSON.

• Загрузка CSV-файла в Kafka с помощью https://github.com/jcustenborder/kafka-connect-spooldir
  • Пример использования: https://www.confluent.io/blog/ksql-in-action-enriching-csv-events-with-data-from-rdbms-into-AWS/
• Потоковая передача данных из темы Кафки в Elasticsearch https://www.confluent.io/connector/kafka-connect-elasticsearch/
  • Пример использования: https://www.confluent.io/blog/blogthe-simplest-useful-kafka-connect-data-pipeline-in-the-world-or-thereabouts-part-2

Отказ от ответственности: я работаю на Confluent и написал вышеупомянутые статьи.