Получите данные и сохраните их как JSON в AWS хранилище с помощью лямбда-функции

Question

Я хочу знать, какие сервисы мне следует использовать.

[утром / каждый день] - получение данных (массив API-ссылок, 20-30 элементов) и сохранение их в виде json массива в некотором хранилище. , Я хочу знать, где я могу сохранить эти json данные, чтобы потом выполнять операции CRUD с помощью Lambda Functions?

Answer 1

Учитывая ограниченное описание, вот схема одного из способов его решения:

1. Таблица DynamoDB для постоянного хранения JSON объектов.
2. Лямбда-функция, которая принимает список URL-адресов в качестве входных данных, вызывает эти API-интерфейсы, сохраняет результаты в DynamoDB.
3. CloudWatch Events для планирования запуска Lambda каждое утро.
4. Функция Lambda записывает сообщение в SNS, указывающее на успех / неудачу Вызовы API.
5. Подпишитесь по электронной почте на SNS topi c, чтобы увидеть результаты.

Убедитесь, что тайм-аут функции Lambda достаточно длинный, чтобы вызвать все URL и сохранить результаты , Или перейдите к чуть более сложному решению, в котором вы ставите URL-адреса в SQS и заставляете SQS запускать функцию Lambda с 5-10 URL-адресами за раз.