Получение AWS логов из S3 на кибане с использованием стека EFK

Question

У меня на EKS работает стек EFK. Как я могу собрать логи из ведра S3 и просмотреть их через Kibana?

Answer 1

вы можете использовать этот плагин, чтобы добавить новый источник для s3 https://github.com/tomohisaota/fluent-plugin-forward-aws

сначала, вам нужно добавить конфиги источника

<source>
  type forward_aws
  aws_access_key_id     XXXXXXXXXXXXXXXXXXXX
  aws_secret_access_key XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX

  aws_s3_endpoint       s3-ap-northeast-1.amazonaws.com
  aws_s3_bucketname     XXXXXXXXXXXXXXXXXXXX

  aws_sqs_endpoint      sqs.ap-northeast-1.amazonaws.com
  aws_sqs_queue_url     https://sqs.ap-northeast-1.amazonaws.com/XXXXXXXXXXXXXXXXXXXX
</source>

, затем вам нужно проанализировать их с помощью match и переслать их вasticsearch