Лучший способ «прослушать» ведро s3 для нового файла?

Question

Я подключил zapier к веб-крюку, который я тоже слушаю, и который отправляет файл JSON в мое ведро s3.

У меня есть некоторый код Python, который я хочу выполнить, когда новый файл загружается в корзину в реальном времени поверх файла.

Каков наилучший способ прослушивания загрузки этого файла в корзину s3?

Answer 1

Вы можете настроить событие Amazon CloudWatch для прослушивания, когда новый объект помещается в корзину S3.Вы можете настроить событие для работы с определенной корзиной S3.Когда новый объект помещается в корзину, вы можете сконфигурировать событие для запуска функции Lambda, которая будет выполнять любой пользовательский код Python, который вы хотите запустить при добавлении нового объекта.

Ваш вопрос довольно широкий, поэтому яне могу разобраться в деталях, но вы можете ознакомиться с документацией AWS, в которой приведены примеры, которые помогут вам в этом процессе. Документация по AWS CloudWatch .

Answer 2

Дэвид здесь, из команды Zapier Platform.

Похоже, вы уже нашли свой ответ, и это здорово.Я просто хотел подключить Zapier в качестве опции (поскольку вы уже упоминали, что уже используете его).Наша интеграция с S3 имеет триггер «новый файл в корзине», который вы можете комбинировать с любым другим шагом (например, шагом кода Python).Кроме того, вы можете пропустить посредника и структурировать свой zap следующим образом:

1. некоторый триггер
2. Добавить файл в S3
3. Запустить Python

И вообще не нужно беспокоиться о веб-крючках.

Дайте мне знать, если у вас есть еще вопросы!

Answer 3

Есть несколько рекомендуемых опций, включающих уведомления о событиях в корзинах S3, описанные здесь в документах AWS https://docs.aws.amazon.com/AmazonS3/latest/user-guide/enable-event-notifications.html