Syn c определенный c набор файлов из Amazon S3 в Dropbox или Amazon Drive

Question

У меня есть ведро Amazon S3 с тоннами изображений. Подмножество этих изображений необходимо синхронизировать с локальным компьютером для целей анализа изображений (AI). Это должно быть сделано регулярно и в идеале со списком имен файлов в качестве входных данных. Не все изображения должны быть синхронизированы.

Существуют способы синхронизации S3 с Dropbox / Amazon Drive или другими службами хранения, но ни у одного из них нет возможности предоставить список файлов, которые необходимо synced.

Как это можно реализовать?

Answer 1

Первое, что приходит на ум при разговоре о синхронизации и s3, это использование команды aws s3 syn c cli. Это позволит вам синхронизировать c специфицированные c папки назначения, а также даст вам возможность использовать - включать , - исключать , если вы хотите указать указанные c файлов. Команды также позволяют использовать подстановочные знаки [*], если у вас есть определенные c соглашения об именах, которые вы можете использовать для идентификации файлов.

Вы также можете многократно вызывать команду --exclude для нескольких файлов, поэтому в зависимости от вашей ОС вы можете либо перечислить все файлы, либо создать сценарий find , который идентифицирует файлы и выделяет их. .

Кроме того, вы можете сделать - удалить , что приведет к удалению всех файлов в пути назначения, которые не находятся в источнике.

Answer 2

Столько, сколько я хотел бы ответить, но я чувствовал, что было бы хорошо сначала прокомментировать свои мысли, если они соответствуют ОП!

Но я вижу, что комментарии используются дать ответ, чтобы набрать очки :)

Я хотел бы представить свой официальный ответ!

Ответ:

Если я получу это правильно, я бы использовал aws cli с фильтрами include и exclude.

https://docs.aws.amazon.com/cli/latest/reference/s3/index.html#use -of-exclude-and-include-filters