Есть ли аналог Kafka для AWS Kinesis Firehose?

Question

Похоже, что AWS Kinesis Firehose - это способ ввода данных (буферизованных вместе) в объект, есть ли аналог Kafka для такого рода функций?

Answer 1

Да, Kafka Connect , который является частью Apache Kafka.

Вы можете использовать его с различными разъемами , для потоковой передачи данных из источника (RDBMS, JMS, MQTT, CSV и т. Д.) В тему Kafka и из Kafkaтема для цели (СУРБД, S3, BigQuery, HDFS и т. д. и т. д.)

Kafka Connect в действии:

• https://www.confluent.io/blog/simplest-useful-kafka-connect-data-pipeline-world-thereabouts-part-1/
• https://www.confluent.io/blog/blogthe-simplest-useful-kafka-connect-data-pipeline-in-the-world-or-thereabouts-part-2/
• https://www.confluent.io/blog/simplest-useful-kafka-connect-data-pipeline-world-thereabouts-part-3/

Отказ от ответственности: я работаю на Confluent.