Чтение данных из облачного хранилища с помощью облачных функций

Question

Я пытаюсь быстро проверить концепцию построения конвейера обработки данных в Python.Чтобы сделать это, я хочу создать функцию Google, которая будет срабатывать, когда определенные CSV-файлы будут сброшены в облачное хранилище.

Я следовал по этому руководству по Python для функций Google , и покаПример кода действительно вызывает функцию для создания нескольких простых журналов, когда файл удаляется, я действительно застрял на том, что мне нужно сделать, чтобы на самом деле прочитать содержимое данных.Я пытался найти документ с инструкциями SDK / API, но мне не удалось его найти.

В случае, если это уместно, после обработки .csv я хочу добавить некоторые данные, которыеЯ извлекаю из него в GCP's Pub / Sub.

Answer 1

Функция на самом деле не получает содержимое файла, только некоторые метаданные о нем.

Вы захотите использовать клиент google-cloud-storage.Подробнее см. Руководство «Загрузка объектов» .

Объединяя это с используемым учебником, вы получаете функцию, подобную:

from google.cloud import storage

storage_client = storage.Client()

def hello_gcs_generic(data, context):
    bucket = storage_client.get_bucket(data['bucket'])
    blob = bucket.blob(data['name'])
    contents = blob.download_as_string()
    # Process the file contents, etc...