Как вставить, удалить, обновить данные на aws s3 (формат json / csv) в сервисе awsasticsearch

Question

Я устанавливаю прием данных из aws s3 в службу awsasticsearch.

Входящие данные будут в формате json или csv, и должны быть

1. вставляется, если не найдено ни одной записиластиком для столбца id
2. удалить из эластичного поиска и вставить новую запись, если идентификатор уже присутствует в эластичном поиске

Эти файлы могут входить в s3 в любое время в течение дня, как только файл поступит в эластичный поиск, и его необходимо обновить.

Спасибо

Answer 1

Вы пробовали logstash, чтобы посмотреть свои корзины s3 с помощью https://www.elastic.co/guide/en/logstash/current/plugins-inputs-s3.html и вывести их в эластичный кластер?

В вашем конвейере logstash вам нужно будет проверять все входящие данные на формат json или csvи преобразуйте его в соответствии с отображением индекса эластичного поиска.

Функции вставки или обновления можно архивировать, явно указав _id для каждого документа.