Как мне перечислить объекты, хранящиеся в хранилище Google Cloud, используя Python?

Question

Позвольте мне предсказать это, говоря, что я совершенно новый. Я кодирую в SQL и SAS.

Мне нужно перечислить все объекты, хранящиеся в хранилище Google Cloud. Веба GUI недостаточно, так как я пытаюсь найти один файл среди более чем 6K файлов.

Я в Google Cloud Datalab и использую Python 3.6. Какой самый простой способ просто создать список (желательно что-то, что я могу выкинуть в локальный csv) этих объектов?

Спасибо

Answer 1

Как объяснено здесь следующий код перечислит все объекты в корзине.

from google.cloud import storage


def list_blobs(bucket_name):
    """Lists all the blobs in the bucket."""
    # bucket_name = "your-bucket-name"

    storage_client = storage.Client()

    # Note: Client.list_blobs requires at least package version 1.17.0.
    blobs = storage_client.list_blobs(bucket_name)

    for blob in blobs:
        print(blob.name)

В blob.name у вас есть имя каждого объекта, в коде, который мы печатаем это к стандартному выводу. Как вы говорите, вы хотели бы получить этот вывод в текстовом файле, вы можете сделать это, добавив эту переменную.

Документы для хранилища довольно solid, и имеют ссылки на репозитории GitHub, которые содержат все код клиента.

Есть также утилита командной строки gsutil, которая делает этот материал довольно тривиальным в bash сценариях и т. п.