Стек ELK в AWS для поиска данных приложения

Question

входной файл: csv

например: ~ DEALER_ID ~, ~ STOCK_ID ~, ~ VIN ~, ~ IS_NEW ~, ~ IS_CERTIFIED ~, ~ YEAR ~, ~ MAKE ~, ~ MODEL ~

~ 1035659 ~, ~ C0524359 ~, ~ 2LMDJ6J45454359 ~, ~ N ~, ~ N ~, ~ 2013 ~, ~ Линкольн ~, ~ MKX ~

~ 1035659 ~, ~ C0532359 ~, ~ 345666543344443 ~, ~ N ~, ~ N ~, ~ 2016 ~, ~ BMW ~, ~ X5 ~

...

...

Расположение: S3

Как только csv будет сброшен в S3, я бы хотел, чтобы данные загружались в управляемый AWS ElasticSearch.Я очень плохо знаком со стеком ELK и упругим поиском AWS, поэтому я хотел бы получить несколько советов о том, как лучше всего это работает на AWS.

Мне удалось проанализировать этот файл, запустив logstash локально и отправив его на мойлокальные серверы ElasticSearch и Kibana.

Answer 1

Простой способ - запустить функцию Lambda и добавить триггер так, чтобы при поступлении нового файла в S3 ваша функция запускалась и Lambda загружала данные в AWS ES