как использовать Google Data Prep для нескольких файлов, находящихся в облачном хранилище Google? - PullRequest
Новая
       179

как использовать Google Data Prep для нескольких файлов, находящихся в облачном хранилище Google?

0 голосов
/ 07 августа 2020

Я импортировал текстовый файл из GCS, выполнил некоторые приготовления с помощью DataPrep и записал их обратно в GCS в виде файлов CSV. Я хочу сделать это: сделать это для всех текстовых файлов в этом сегменте Есть ли способ сделать это для всех файлов в этом сегменте (в GCS) сразу?

Ниже моя процедура. Я выбрал текстовый файл из GCS (не могу выбрать более одного текстового файла) и сделал некоторые приготовления (переименовать столбцы. Создать новые столбцы и т.д. c). Затем запишите его обратно в GCS как CSV.

введите описание изображения здесь

1 Ответ

1 голос
/ 07 августа 2020

Вы можете использовать функцию Dataset с параметрами для одновременной загрузки нескольких файлов.

Затем вы можете использовать подстановочный знак для выбора всех файлов, которые вы хотите загрузить. Обратите внимание, что все файлы должны иметь одинаковую схему (одинаковые столбцы), чтобы это работало.

create dataset with parameters

See https://cloud.google.com/dataprep/docs/html/Create-Dataset-with-Parameters_118228628 для получения дополнительной информации о том, как использовать эту функцию.

Другое решение - добавить все файлы в папку * и использовать большую кнопку + для загрузки всех файлов в эту папку.

[*] технически ниже такой же префикс на GCS

...