как использовать Google Data Prep для нескольких файлов, находящихся в облачном хранилище Google?

Question

Я импортировал текстовый файл из GCS, выполнил некоторые приготовления с помощью DataPrep и записал их обратно в GCS в виде файлов CSV. Я хочу сделать это: сделать это для всех текстовых файлов в этом сегменте Есть ли способ сделать это для всех файлов в этом сегменте (в GCS) сразу?

Ниже моя процедура. Я выбрал текстовый файл из GCS (не могу выбрать более одного текстового файла) и сделал некоторые приготовления (переименовать столбцы. Создать новые столбцы и т.д. c). Затем запишите его обратно в GCS как CSV.

введите описание изображения здесь

Answer 1

Вы можете использовать функцию Dataset с параметрами для одновременной загрузки нескольких файлов.

Затем вы можете использовать подстановочный знак для выбора всех файлов, которые вы хотите загрузить. Обратите внимание, что все файлы должны иметь одинаковую схему (одинаковые столбцы), чтобы это работало.

See https://cloud.google.com/dataprep/docs/html/Create-Dataset-with-Parameters_118228628 для получения дополнительной информации о том, как использовать эту функцию.

Другое решение - добавить все файлы в папку * и использовать большую кнопку + для загрузки всех файлов в эту папку.

[*] технически ниже такой же префикс на GCS