Существует ли сервис AWS для запуска сценариев с использованием API и сохранения полученных данных

Question

Я работаю в среде AWS, и мне нужно сделать следующее [РЕДАКТИРОВАТЬ] как ежедневное запланированное задание [/ EDIT]:

1. Запустить сценарии python / http для вызова внешнего (внеAPI AWS) несколько раз.
2. Сохраните выходные данные каждого вызова в CSV
3. Сохраните несколько CSV-файлов в базу данных Redshift.

Я посмотрел на AWS Glueно я не думаю, что смогу сделать первый шаг в этом.Какой рабочий процесс или комбинацию инструментов вы бы предложили?

Answer 1

Вы можете написать лямбда-функцию с запланированными событиями для сканирования API.

Использование Lambda, скорее всего, будет дешевле по сравнению с предоставлением экземпляра EC2, поскольку ваша работа не занимает много времени, а объем данных меньше.

Если вы надеетесь использовать экземпляр EC2, вы по-прежнемуможно использовать событие расписания Lambda для запуска и остановки экземпляра EC2 (или сам экземпляр EC2 может завершить работу после выполнения задания).

Answer 2

1. Используйте EC2 для запуска API и сохранения CSV-файлов
2. Используйте библиотеку boto3 для их загрузки в S3
3. Используйте команду COPY для загрузки данных изS3 в Redshift (безусловно, самый быстрый способ)