Я недавно начал использовать Amazon Sagemaker для обучения и развертывания моделей машинного обучения. Поскольку я использую конкретную нативную модель Sagemaker, ее входной набор данных должен быть файлом JSON внутри корзины AWS S3.
В связи с этим мне необходимо время от времени, когда я хочу переобучать модель, иметь возможность загружать новые данные из моей базы данных, преобразовывать их в формат JSON, который запрашивает Sagemaker Models.
Существует ли какой-либо рекомендуемый и известный способ выполнения (если возможно, безсерверных) заданий ETL, использующий базу данных ElasticSearch в качестве источника данных и корзину S3 в качестве выходных данных?
Я попытался изучить AWS Glue, но не смог найти способ подключить этот сервис к базе данных ElasticSearch.
Я также узнал, что возможно использовать logstash для вывода данных в корзину S3, но я не могу установить плагин s3 или какие-либо новые плагины, так как мой ElasticSearch размещен на ElasticCloud, и у меня нет возможности получить доступ к машинный терминал.
Заранее спасибо.