Избежание нескольких загрузок с AWS S3

Question

У меня есть файлы на S3, и программа загружает эти файлы каждый раз.Теперь я хочу оптимизировать его, игнорируя уже загруженные файлы.Я пытался найти много способов, таких как FileUtils.currentDirectory (), чтобы сохранить файлы в первый раз, а затем снова проверить, существует ли файл или нет, но я не смог этого сделать.

Пожалуйста, предложите.

Answer 1

Если вы хотите иметь локальную копию файлов, но копировать только новые / измененные файлы, вы можете использовать Интерфейс командной строки AWS (CLI) .

Имеетсякоманда aws s3 sync, которая копирует только новые / измененные файлы.

Если вы хотите сделать это программно, вы можете скопировать это поведение, перечислив файлы, затем копируя только новые файлы или файлы с более поздней датой изменения..