Облачная функция для объединения файлов из 2 ведер - PullRequest
0 голосов
/ 18 октября 2018

Я новичок в GCP, работаю над облачной функцией, чтобы разархивировать файл и соединить пару файлов из другой корзины.Я не уверен, что мы можем инициировать поток данных, потому что этот файл поступает каждый час.

Входная корзина: test.csv.gz Промежуточная корзина: test1.csv test2.csv

Пока я пытаюсьраспаковать файл и скопировать в ведро. код для распаковки и размещения файла:

from google.cloud import storage
import gzip
import shutil
client = storage.Client()
input_bucket = client.get_bucket('INPUT-BUCKET-NAME')
staging_bucket = client.get_bucket('STAGING-BUCKET-NAME')

def unzip_main(data, context):
    with storage.open(''data['name']'', 'r') as f:
      with storage.open('/' + STAGING_BUCKET_NAME + '/' + id, 'w', content_type='text/plain') as fw:
    content = gzip.GzipFile(fileobj=f).read()
    shutil.copyfileobj(content, f_out)
    f.close()

Я получаю ошибки компиляции при развертывании, может кто-нибудь исправить мой подход и помочь мне с некоторыми указателями присоединиться к ним

Ценю вашу помощь.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...