Могу ли я использовать Kafka между Logstash и Elasticsearch? (Используя две кафки) - PullRequest
Новая
       27

Могу ли я использовать Kafka между Logstash и Elasticsearch? (Используя две кафки)

0 голосов
/ 13 мая 2019

Я пытаюсь интегрировать Apache Kafka с Elastic Stack (Beats, Logstash, Elasticsearch и Kibana)

enter image description here

На схеме Кафка находится между битами и Logstash.Мне было интересно могу ли я поставить еще одну Кафку между Logstash и Elasticsearch. (Где я нарисовал красной ручкой.)

Два Кафки звучат хорошо?

Есть идеи илимысли поделиться?

1 Ответ

1 голос
/ 13 мая 2019

Да.

  1. Logstash может записывать в Kafka в качестве вывода.

  2. Вы можете использовать Kafka Connect Elasticsearch для потоковой передачи из Kafka в Elasticsearch.

Если вы хотите буферизовать / масштабировать вывод из Logstash, используя здесь Kafka, это возможно и имело бы смысл.

Но имейте в виду, что вы также можете:

(a) писать из Beats в Kafka и выполнять любую обработку с помощью потоков KSQL / Kafka и т. Д., Чтобы записать обратно в Kafka, а затем в Kafka Connect to Elasticsearchили (б) просто напишите из Logstash в Elasticsearch

...