Самый быстрый способ отправить логи из Кафки в Elasticsearch

Question

Я ищу самый быстрый грузоотправитель бревен, который может напрямую передавать мои бревна в эластичный поиск от kafka.Я могу назвать несколько способов сделать это:

1. Kafka -> Elasticsearch
2. Kafka -> Logstash -> Elasticsearch
3. Kafka -> Golang -> Elasticsearch
4. Kafka -> rsyslog -> Elasticsearch
5. Kafka -> java / c / c ++ -> Elasticsearch ...

Может кто-нибудь сказать мне, какой самый быстрый способ (Самый высокий EPS с тем же ресурсом), чтобы сделать работу?Заранее спасибо!

Answer 1

Самый быстрый довольно сложно сказать; Есть несколько хороших вариантов, и это будет зависеть от таких факторов, как ваше оборудование, размер сообщения и так далее.

Для любой интеграции в и из Kafka моей отправной точкой всегда является Kafka Connect, поскольку он является частью самого Apache Kafka. Для Elasticsearch имеется разъем , который можно загрузить автономно для использования с существующим кластером Kafka Connect или получить в составе Confluent Platform.

Отказ от ответственности: я работаю на Confluent.