Я пытаюсь синхронизировать c локальный каталог с gs bucket с файлами 500K.
Я использую команду gsutil
gsutil -m cp -n -r /local_path/ gs://bucket/folder/
Я хочу загрузить новые файлы в local_path каждый раз, когда я вызываю gsutil cp. По этой причине я использую -n.
Если я делаю это в путях с небольшим количеством файлов, это работает. Но когда я делаю с каталогом 400K файлов, команда начинает пропускать уже загруженные файлы, но через некоторое время начинает загружать уже загруженные файлы.
Чтобы подтвердить своих подозреваемых, я сделал gsutil ls для файла, чтобы убедиться, что было в корзине.
Я что-то не так делаю? Это известная ошибка? Как можно этого избежать.