Как динамически добавлять больше тем Kafka в конфигурацию Logsta sh

Question

Есть ли опция, как добавить в logsta sh Кафка ввода нескольких тем кафки? Я нахожу решение Dynami c, потому что количество моих тем меняется.

моя конфигурация logsta sh выглядит следующим образом:

input {
    kafka {
    bootstrap_servers => "localhost:9092"
    topics => ["company0","company1","company2","company3","company4"]
    }
} 
output {
   elasticsearch {
      hosts => ["localhost:9200"]
      index => "indextry"
      workers => 1
    }
}

В этом решении я использую 5 тем Кафки, но в другом случае я хочу использовать 20, например.

Есть ли какое-нибудь динамическое c решение, как добавлять темы кафки сюда?

Answer 1

Logsta sh kafka input поддерживает использование конфигурации topics_pattern.

kafka {
    bootstrap_servers => "localhost:9092"
    topics_pattern => ["company.*"]
}

Этот конфиг будет использовать все topi c, начинающиеся с "company".