Как мне добавить много файлов CSV в каталог в Kedro? - PullRequest
1 голос
/ 07 мая 2020

У меня есть сотни файлов CSV, которые я хочу обработать аналогичным образом. Для простоты мы можем предположить, что все они находятся в ./data/01_raw/ (например, ./data/01_raw/1.csv, ./data/02_raw/2.csv) и c. Я бы предпочел не давать каждому файлу отдельного имени и отслеживать их индивидуально при создании конвейера. Я хотел бы знать, есть ли способ прочитать их все сразу, указав что-нибудь в файле catalog.yml?

1 Ответ

4 голосов
/ 07 мая 2020

Вы ищете PartitionedDataSet . В вашем примере catalog.yml может выглядеть так:

my_partitioned_dataset:
  type: "PartitionedDataSet"
  path: "data/01_raw"
  dataset: "pandas.CSVDataSet"
...