Я пытаюсь скопировать / синхронизировать c тысяч файлов (примерно 700 ГБ) с S3 на внешний сервер, но, похоже, существует ограничение на количество файлов, которые можно скопировать во время одной команды, поскольку cp и sync не копирует все файлы (копируется только ~ 670 МБ), и поскольку каждый раз, когда я повторно запускаю команду cp, копируются одни и те же файлы. С другой стороны, повторный запуск команды sync ничего не делает, он не продолжает и не копирует оставшиеся файлы, он завершается, поскольку уже синхронизировал все файлы с S3 (чего не было).
Только я иметь успешное копирование файлов, если я использую команду mv, что имеет смысл, поскольку она копирует, а затем удаляет файлы.
ВОПРОСЫ
Сколько файлов можно скопировать во время одна команда (s3 cp s3://my_bucket /my/own/server)?
Есть ли способ запустить одну команду, которая скопирует все файлы / каталоги? Как?
СРЕДА
ОС : Ubuntu 18.04 LTS
AWS -CLI : aws -cli / 1.18.108 Python / 3.6.9 Linux / 4.15.0-39-generi c botocore / 1.17.31
Я уже читал документацию, но это не похоже чтобы прояснить этот конкретный c вопрос (хотя кажется, что он обрабатывает только 1 тысячу файлов / раз)
Я также видел ответы ( здесь и здесь ) в StackOverflow, который предполагает, что ограничение на одну команду cp составляет 1000 файлов. Но я хотел получить окончательный ответ по этому поводу.
EDIT
После выполнения этой команды: aws s3 ls --recursive --human-readable --summarize s3://my_bucket > /home/aws-s3-ls.out
Я получил такой результат:
AWS S3 копирует максимум 1000 файлов / раз
Мне кажется, что он может копировать 1000 файлов каждый раз.
Теперь я хочу знать, есть ли простой способ обойти это. Добавление параметра, который заставит его копировать все файлы. Меня не обязательно интересуют сторонние утилиты, но я принимаю их, если без них невозможно.