Предложение по конфигурации Logsta sh - PullRequest
Новая
       22

Предложение по конфигурации Logsta sh

0 голосов
/ 23 апреля 2020

Моя текущая настройка следующая:

Amazon S3 -> Logsta sh -> Elasticsearch -> Kibana

В logsta sh мы пытаемся опросить файлы из 4 S3 ведра ie каждый для каждой среды. поэтому мы ожидаем загрузки данных в день от 3 до 4 ГБ Макс всего вместе из 4 сегментов.

Так что мой вопрос в том, какой способ конфигурации является наилучшим,

1) Создание файла conf logsta sh, где во входном разделе я опрашиваю все 4 сегмента s3, например, как показано ниже, 

input {
s3{ bucket 1 }
s3{ bucket 2 }
s3{ bucket 3 }
s3{ bucket 4 }
}
filter { same condition }
output {same ES }

Я буду создавать индекс по основам месяца. Насколько хороша будет производительность в таком случае?

2) Нужно ли мне создавать 4 файла конфигурации для каждого 1 сегмента, а также создавать конвейер, как показано ниже. Как производительность будет в обоих случаях. Для этого условия я буду использовать 4 индекса для каждой среды. 

- pipeline.id: Prod
  path.config: logstash_prod.conf
  queue.type: persisted
- pipeline.id: TEST
  path.config: logstash_test.conf
  queue.type: persisted
- pipeline.id: UAT
  path.config: logstash_uat.conf
  queue.type: persisted
- pipeline.id: Dev
  path.config: logstash_dev.conf
  queue.type: persisted

Пожалуйста, предложите, какие из лучших практик.

...