Копирование большого количества файлов из Google Cloud Storage в Google Colab без регистрации / печати

Question

У меня есть большое количество изображений (.jpg), хранящихся в облачном хранилище Google, которые я хотел бы использовать в Google Colab.

Для этого я использую (в Google Colab)

GCS_PATH = "gs://bucket/prefix"
!gsutil -m cp -r {GCS_PATH} ./data

Однако при запуске Google colab печатает каждый перевод на вывод ячейки, что замедляет работу моего браузера.Мне было интересно, есть ли флаг --quiet или --silent для gsutil cp.Я проверил gsutil help cp, но ничего не смог найти.

Answer 1

Если вы запустите gsutil help options, вы обнаружите, что у него есть флаг верхнего уровня -q, который должен делать то, что вы хотите:

-q          Causes gsutil to perform operations quietly, i.e., without
            reporting progress indicators of files being copied or removed,
            etc. Errors are still reported. This option can be useful for
            running gsutil from a cron job that logs its output to a file, for
            which the only information desired in the log is failures.

И если вы не хотите абсолютно никакого выводавсегда, вы всегда можете перенаправить stdout и stderr в отдельный файл (например, в большинстве * nix-систем это выглядит как somecommand >/dev/null 2>&1, но я не совсем уверен, к каким файлам / устройствам Colab дает вам доступ для записи).