Сравните локальные файлы с корзиной s3 и определите, какие файлы (fullpath) отсутствуют в корзине

Question

У меня есть локальный общий файловый ресурс, который был скопирован в снежный ком и импортирован в корзину s3 (~ 70 ТБ; много маленьких файлов). После импорта пользователи добавили контент в локальный общий ресурс. Я пытаюсь получить список всех файлов, которых нет, а затем перенести их в корзину.

Я пробовал syn c и s3cmd syn c, но он должен перебирать каждый элемент, я думаю, что если я экспортирую список, а затем запускаю копию только элементов, которые должны его переместить сэкономит много времени.

Нужна помощь в поиске самого простого и быстрого способа приблизиться к этому

Answer 1

Конечно, вы можете go таким образом, если вы предполагаете, что ваши файлы не были изменены, т.е. если путь к файлу однозначно идентифицирует содержимое. Кроме того, вы можете проверить, не изменился ли размер.

Чтобы получить список объектов в корзине s3, используйте list-objects :

aws s3api list-objects --bucket text-content --query 'Contents[].{Key: Key, Size: Size}')