AWS использование данных из API REST

Question

Я пишу вам, потому что я новичок в AWS ... Раньше я работал только с экземплярами EC2 для простых задач ...

В настоящее время я ищу AWS сервис для получения данных с использованием вызовов API REST (для внешних AWS сервисов).

До сих пор я использовал EC2, где развернул свою библиотеку (python), которая выполняла вызовы и сохраняла данные в S3.

Какие более эффективные способы AWS предлагает для этого? некоторые SaaS?

Я знаю, что они еще больше деталей, чтобы знать, чтобы выбрать хорошие услуги, но я хотел бы знать, откуда я могу начать искать.

Большое спасибо заранее: )

Answer 1

Я делаю запросы API, используя AWS Lambda . В частности, я оставляю код, который делает запросы, записывает ответ в файл и помещает объект ответа (файл) в AWS S3.

Вам понадобится относительный / абсолютный путь к pu sh файлам, куда вы хотите глотать. По умолчанию текущий рабочий каталог лямбда-серверов: /var/task, но вы можете вместо этого записать свои файлы в /tmp/.

Вы можете автоматизировать процесс приема внутрь, установив Правило CloudWatch для запуска вашей функции. Иногда я объединяю лямбда-функции, когда мне нужно l oop запросов с изменяющимися параметрами вместо того, чтобы упаковывать все запросы в одну функцию,

, т.е. .

1. Я оставляю базовый запрос (параметризованный) в одной функции и выставляю функцию через конечную точку шлюза API.
2. Я создаю вторую функцию, чтобы вызвать базовую функцию один раз для каждого нужного мне значения, используя объект Event (который является телом JSON обычного запроса). Эти данные заменят параметры в базовой функции.
3. Я автоматизирую вторую функцию.

Совет:

Lambda иногда будет запускать вашу запросы внутри того же сервера. Поэтому, если вы постоянно запускаете их для тестирования сервера, возможно, у вас есть файлы из прошлых вызовов, которые вам не нужны, поэтому обычно в начале моих функций у меня есть шаг очистки, который проходит через мою файловую систему, чтобы убедиться, что есть нет файлов перед выполнением запросов.

Использование python 3.8 в качестве среды выполнения Я использую модуль запросы для отправки запроса, пишу файл и использую boto3 to pu sh объект ответа на aws S3 bucket.

Answer 2

Чтобы вызвать внешнюю службу, вам нужны «вычислительные ресурсы» для запуска вашего клиента. Под вычислительными ресурсами в aws мы понимаем ec2, ecs (docker контейнер) или lambda (без сервера - мой любимый)

Ваш код уже запущен на EC2, так что вы уже должны знать, что вам нужен VP C с общедоступным c su bnet и IP-адресом для исходящего вызова независимо от выбранного вами вычислительного ресурса