Получите результаты от стороннего API и сохраните результаты в S3

Question

Я новичок в AWS и облачных сервисах в целом. Я планирую непрерывно получать данные от стороннего API, который возвращает результаты в формате JSON за раз (3-5 МБ каждый) и выгружать результаты в корзину S3. Я хочу автоматизировать процесс, и мое решение на данный момент состоит в том, чтобы запустить скрипт python на экземпляре EC2, чтобы получить результаты и перенести его в корзину S3, как я это сделал бы вручную на локальном компьютере. Это способ добиться такого сбора данных? Поскольку я новичок в этом, я хочу остаться в рамках бесплатного уровня. Заранее спасибо.

Answer 1

Вы не предоставили типичный размер ответа от API.Насколько я понимаю, это экспериментальный проект.Я надеюсь, что эти советы помогут:

• Посмотрите на страницу бесплатного пользования aws
• Использование t2.micro
• Настройка уведомлений о выставлении счетовна aws - все может случиться, заплатить 5 долларов все равно лучше, чем заплатить 500 долларов.

Я не уверен, что вы уже используете s3, но вот некоторые вещи, которые следует учитывать:

• Подсчитайте, сколько данных вы будете хранить в МБ
• Настройте политику жизненного цикла на s3 для удаления объектов, которым N дней (если они вам не нужны).
• Убедитесь, что управление версиямивыключен (если вам это не нужно)

Из документов: при регистрации новые клиенты AWS получают 5 ГБ хранилища Amazon S3 в классе Standard Storage,20 000 запросов Get, 2 000 запросов Put и 15 ГБ передачи данных каждый месяц в течение одного года

Итак, вы, вероятно, хотите поместить объекты вs3 в пакетах (я имею в виду, что один объект будет содержать несколько ответов от API).Если скрипт будет запускаться каждую секунду и выдвигать объекты на s3, похоже, 2000 узких мест - это бесплатные запросы пут.

цены на s3

Удачи:)