Инкрементальная загрузка файлов папки s3

Question

Какой простой способ применить добавочную загрузку в файлах папок s3 с помощью python?Дата берется из "filename_180828_152153" вот так!

Я попытался вставить все имена файлов и даты в таблицу. А затем сравнить максимальные имена файлов, сравнить с датами из таблицы.

Но этопотребовалось больше времени, это как загрузка слишком много времени!

пожалуйста, совет?

Заранее спасибо.

Answer 1

Решение, которое вам нужно, - это лямбда-функция, запускаемая уведомлением о событии S3.https://docs.aws.amazon.com/lambda/latest/dg/with-s3.html

Идея состоит в том, что всякий раз, когда новый объект загружается на ваш S3, он запускает эту лямбда-функцию, которую вы определяете (например, выполняете ELT, выполняете очистку и т. Д.). Это больше похоже наРабочий процесс в стиле push, так что вам не нужно беспокоиться о сравнении.

Уведомление о событии S3 позволяет вам определить правило, которое фильтрует по префиксу и / или суффиксу имени объекта и добавляет триггер событияим.https://docs.aws.amazon.com/AmazonS3/latest/dev/NotificationHowTo.html