Загружает ли logstash логи с s3 или читает без загрузки?

Question

Я использую logstash для обработки журналов в нашей централизованной регистрации, и входные данные находятся в формате s3 в формате gz.Мне нужно составить прогноз затрат на этот процесс и загружает ли logstash объект s3 или он анализирует его удаленно?

Answer 1

Amazon S3 - сервис хранения объектов. Данные не обрабатываются на Amazon S3.

Если приложение хочет обрабатывать данные из Amazon S3, ему необходимо загрузить файлы из Amazon S3 и обработать данные локально. Исключением является случай, когда приложение использует сервис Amazon S3 Select , который может запрашивать данные непосредственно в Amazon S3.

С точки зрения стоимости , если экземпляр Amazon EC2 находится в том же регионе, что и корзина Amazon S3, стоимость загрузки данных для загрузки данных не взимается.