S3 Массовое обновление данных

Question

У меня есть куча json-документов, которые имеют одинаковый набор полей, хранящихся в корзине S3. Для того чтобы обновить поле состояния с «ожидающий» до «завершить» для всех этих записей, следует ли мне получать документы по одному, обновлять поле состояния и возвращать их обратно в S3 по одному или есть способ выполнить массовую обработку обновить эти документы в S3 с помощью клавиш S3?

Answer 1

Для большого количества объектов я бы подумал сделать это с Amazon S3 Batch Operations . Вы можете написать простую лямбда-функцию, используя boto3, чтобы получить объект из S3, обновить содержимое и поместить объект обратно в S3. S3 Batch будет организовывать вызов лямбды для каждого объекта.

Для небольшого количества объектов это может быть излишним, и вы можете просто использовать boto3, чтобы перечислить объекты, получить их один за другим, изменить каждый и вернуть обратно.