Скачать несколько файлов из облачного хранилища Google с помощью Python - PullRequest
Новая
       6

Скачать несколько файлов из облачного хранилища Google с помощью Python

0 голосов
/ 06 июля 2018

Я пытаюсь загрузить несколько файлов из папки облачного хранилища Google. Я могу загрузить один файл, но не могу загрузить несколько файлов. Я взял эту ссылку из этой ссылки , но, похоже, она не работает. Код следующий: 

# [download multiple files]
bucket_name = 'bigquery-hive-load'
# The "folder" where the files you want to download are
folder="/projects/bigquery/download/shakespeare/"

# Create this folder locally
if not os.path.exists(folder):
    os.makedirs(folder)

# Retrieve all blobs with a prefix matching the folder
    bucket=storage_client.get_bucket(bucket_name)
    print(bucket)
    blobs=list(bucket.list_blobs(prefix=folder))
    print(blobs)
    for blob in blobs:
        if(not blob.name.endswith("/")):
            blob.download_to_filename(blob.name)

# [End download to multiple files]

Есть ли способ загрузить несколько файлов, совпадающих с шаблоном (именем) или чем-то еще. Поскольку я экспортирую файл из bigquery, имена файлов будут примерно такими: 

shakespeare-000000000000.csv.gz
shakespeare-000000000001.csv.gz
shakespeare-000000000002.csv.gz
shakespeare-000000000003.csv.gz

Ссылка: Рабочий код для загрузки одного файла: 

# [download to single files]

edgenode_destination_uri = '/projects/bigquery/download/shakespeare-000000000000.csv.gz'
bucket_name = 'bigquery-hive-load'
gcs_bucket = storage_client.get_bucket(bucket_name)
blob = gcs_bucket.blob("shakespeare.csv.gz")
blob.download_to_filename(edgenode_destination_uri)
logging.info('Downloded {} to {}'.format(
    gcs_bucket, edgenode_destination_uri))

# [end download to single files]

Ответы [ 2 ]

0 голосов
/ 07 июля 2018

После некоторого испытания я решил это и не мог удержаться от публикации здесь также. 

bucket_name = 'mybucket'
folder='/projects/bigquery/download/shakespeare/'
delimiter='/'
file = 'shakespeare'

# Retrieve all blobs with a prefix matching the file.
bucket=storage_client.get_bucket(bucket_name)
# List blobs iterate in folder 
blobs=bucket.list_blobs(prefix=file, delimiter=delimiter) # Excluding folder inside bucket
for blob in blobs:
   print(blob.name)
   destination_uri = '{}/{}'.format(folder, blob.name) 
   blob.download_to_filename(destination_uri)
0 голосов
/ 06 июля 2018

Похоже, у вас просто неправильный уровень отступа в вашем коде Python. Блок, начинающийся с # Retrieve all blobs with a prefix matching the folder, находится в области действия if выше, поэтому он никогда не выполняется, если папка уже существует.

Попробуйте это: 

# [download multiple files]
bucket_name = 'bigquery-hive-load'
# The "folder" where the files you want to download are
folder="/projects/bigquery/download/shakespeare/"

# Create this folder locally
if not os.path.exists(folder):
    os.makedirs(folder)

# Retrieve all blobs with a prefix matching the folder
bucket=storage_client.get_bucket(bucket_name)
print(bucket)
blobs=list(bucket.list_blobs(prefix=folder))
print(blobs)
for blob in blobs:
    if(not blob.name.endswith("/")):
        blob.download_to_filename(blob.name)

# [End download to multiple files]
...