Как потреблять все темы Кафки (ELK)

Question

У нас есть простая конфигурация logstash:

input {
    kafka {
        topics => ["filebeat", "devjira"]
....

Как использовать все темы вместо того, чтобы указывать разные темы в списке?

Answer 1

Согласно документации , настройка topics_pattern должна помочь вам:

topics_pattern

• Тип значения - строка

• Для этого параметра нет значения по умолчанию.Шаблон регулярного выражения для подписки.При использовании этой конфигурации конфигурация тем будет игнорироваться.

В Apache Kafka вы можете использовать, например, A.* для запроса тем, начинающихся с A и '.*'(обратите внимание на одинарные кавычки), чтобы запросить все темы.В контексте определения Logstash, я не совсем уверен, как отдельные кавычки анализируются как аргументы, но я бы предположил, что ниже должно работать:

input {
    kafka {
       bootstrap_servers => 'kafka-host:9092'
       group_id => 'yourGroupID'
       topics_pattern => "'.*'"
       codec => "json"
    }
}