Смотри файл в S3 и отправляй конкретный путь к программе

Question

Я новичок в обработке S3 Bucket.Я запускаю свои сценарии кустов, работающие в ec2-insctance, и его результаты в виде файлов .csv сохраняются в соответствующих папках в соответствии со сценарием в S3.Теперь мое требование состоит в том, чтобы мне нужно было наблюдать за файлами, чтобы видеть, когда новый файл .csv перезаписывается в каждой папке в S3, и отправлять полный путь этих .csv в мою программу на python и вызывать программу для запуска и сохранения выходных данных..csv в той же папке. Было бы полезно, если бы кто-нибудь мог предложить несколько способов, чтобы я мог подобрать и реализовать его.

Answer 1

1. Вы можете использовать Spark Streaming для мониторинга каталога, начать работу при добавлении новых записей.Необходимо постоянно запускать спарк-кластер.
2. Вы можете настроить сам S3 для отправки событий через S3-уведомления о событиях в их службу очередей или AWS lambda.

Вариант № 2 будет самым дешевым и самым надежным