Как быстро импортировать файл json из корзины S3 в AWSasticsearch?

Question

Текущее содержание:
1.Некоторый файл типа json в корзине S3.(Около 3.7 ТБ)
2.AWS Elasticsearch

Спрос:
Импорт этого файла json в AWS Elasticsearch.

Текущая работа:
1. Сначала я подумалчто AWS предоставил такую ​​функцию, но когда я посмотрел какую-то информацию (Google Search, общедоступный документ AWS), я не нашел функцию ярлыка, что мне нужно сделать для этого.

2.Я хочупроанализировать эти данные json, например, долю содержимого определенного типа, вынести значение определенного типа, есть ли лучшее решение, кроме AWS Elasticsearch?EMR или что-то еще?

Answer 1

Самое простое решение - использовать AWS Athena для выполнения запросов SQL к вашим данным непосредственно в S3.Вы даже можете использовать AWS Glue для сканирования ваших данных и каталогизации их для Athena .Athena предоставляет конечную точку, к которой вы можете подключиться, используя JDBC или другие библиотеки соединителей SQL .

Однако запросы Athena могут занимать от нескольких секунд до нескольких минут, в зависимости от объема имеющихся у вас данных, способа хранения данных и типа выполняемых запросов.Если вам нужно более быстрое время ответа на запрос, вы можете использовать ElasticSearch.Чтобы получить данные в кластер ElasticSearch, вы можете использовать события S3 put, чтобы вызвать лямбда-функцию , которая загрузит этот файл в ElasticSearch.

Редактировать: для существующих данных вы можете использовать Служба миграции баз данных для перемещения данных из S3 и в ElasticSearch ,