Сжать каталог в облачном хранилище Google и затем загрузить в локальный каталог

Question

У меня есть каталог с именем bar в облачном хранилище Google foo. В каталоге bar.

находится около 1 миллиона маленьких файлов (каждый размером около 1-2 КБ).

Согласно этой ссылке , если у меня большое количество файлов, я должен использовать опцию gsutil -m для загрузки файлов, например:

gsutil -m cp -r gs://foo/bar/ /home/username/local_dir

Но, учитывая общее количество файлов (около 10 ^ 6), весь процесс загрузки файлов все еще идет медленно.

Есть ли способ, чтобы я мог сжать весь каталог в облачном хранилище, а затем загрузить сжатый каталог в локальную папку?

Answer 1

Невозможно сжать каталог в облаке перед копированием, но вы можете ускорить копирование, распределяя обработку по нескольким машинам. Например, есть сценарии так

machine1 делает gsutil -m cp -r gs://<bucket>/a* local_dir

machine2 делает gsutil -m cp -r gs://<bucket>/b* local_dir и т.д.

В зависимости от того, как названы ваши файлы, вам может потребоваться изменить вышеперечисленное, но, надеюсь, вы поймете идею.