Создание CSV из файлов Cloud Bucket - PullRequest
Новая
       27

Создание CSV из файлов Cloud Bucket

0 голосов
/ 22 апреля 2020

Каков наилучший способ создания файла CSV со списком изображений в корзине Google Cloud для импорта в AutoML Vision?

1 Ответ

0 голосов
/ 23 апреля 2020

Если вы хотите прослушать файлы, сохраненные в корзине, вы можете использовать облачную функцию Google, чтобы прослушать новые файлы и создать файл csv в другой корзине

Например, Вы можете использовать этот python код в качестве отправной точки, этот код регистрирует детали нового загруженного файла 

def hello_gcs_generic(data, context):
    """Background Cloud Function to be triggered by Cloud Storage.
       This generic function logs relevant data when a file is changed.

    Args:
        data (dict): The Cloud Functions event payload.
        context (google.cloud.functions.Context): Metadata of triggering event.
    Returns:
        None; the output is written to Stackdriver Logging
    """

    print('Event ID: {}'.format(context.event_id))
    print('Event type: {}'.format(context.event_type))
    print('Bucket: {}'.format(data['bucket']))
    print('File: {}'.format(data['name']))
    print('Metageneration: {}'.format(data['metageneration']))
    print('Created: {}'.format(data['timeCreated']))
    print('Updated: {}'.format(data['updated']))

В основном функция прослушивает события хранения "google.storage.object.finalize" (это происходит при загрузке файла)

Для развертывания этой функции в облаке вы можете использовать эту команду

gcloud functions deploy hello_gcs_generic --runtime python37 --trigger-resource [your bucket name] --trigger-event google.storage.object.finalize

или использовать консоль GCP (Веб-интерфейс) для развертывания этой функции.

  • выбор «облачного хранилища» в поле триггера
  • выбор «Завершить / создать» в типе события
  • указание вашей корзины

Даже вы можете напрямую обрабатывать файлы с помощью Auto ML в облачной функции, как указано в этом примере .

...