Скачать почтовые индексы в облаке Google через терминал

Question

В облаке Google хранится большое количество zip-файлов, которые я хотел бы загрузить, мне нужен скрипт для этого, поэтому мне не нужно делать это по одному за раз.

Я пытался загрузить один файл, используя

curl -o https://storage.cloud.google.com/foo.zip

, но я получаю сообщение об ошибке, в котором не указан URL.

Возможно, curl - неправильная функция для этого?

Я хотел бы загрузить несколько почтовых индексов, размещенных в облаке Google, которые перечислены в файле .txt одновременно или один за другим.

Answer 1

Существует два способа загрузки файлов с помощью командной строки.

Использование gsutil

Вы можете просто использовать команду gsutil cp:

gsutil cp gs://[BUCKET_NAME]/foo.zip .

Вы также можете взглянуть на команду gsutil rsync .

Использование cURL

Если использование gsutil невозможно, вы все равно можете использовать cURLно вам может потребоваться аутентификация, если объект внутри вашего хранилища не является общедоступным (я предполагаю, что вы не хотите, чтобы ваши объекты были здесь публичными).

Из документов о загрузке объектов (Вкладка REST APIS):

curl -X GET \
    -H "Authorization: Bearer [OAUTH2_TOKEN]" \
    -o "[SAVE_TO_LOCATION]" \
    "https://www.googleapis.com/storage/v1/b/[BUCKET_NAME]/o/[OBJECT_NAME]?alt=media"

Как видите, для этого вам понадобится токен авторизации oauth2 (см. документы о том, как пройти аутентификацию в облачном хранилище ).

Однако, даже если это возможно, я настоятельно рекомендую вам использовать первый вариант (gsutil), как указано в документах :

Чтобы легкоДля загрузки всех объектов в корзину или подкаталог используйте команду gsutil cp.