Как выбрать столбцы для загрузки в Kedro CSVLocalDataSet?

Question

У меня есть csv файл, который выглядит как

a,b,c,d
1,2,3,4
5,6,7,8

, и я хочу загрузить его как Kedro CSVLocalDataSet, но я не хочу читать весь файл. Мне нужны только несколько столбцов (скажем, a и b, например).

Можно ли мне указать список столбцов для чтения / загрузки?

Answer 1

CSVLocalDataSet использует pandas.read_csv , который принимает параметр «usecols». Его можно легко проксировать с помощью параметра load_args набора данных (все наборы данных поддерживают дополнительные параметры, передаваемые через load_args и save_args):

my_cool_data:
  type: CSVLocalDataSet
  filepath: data/path.csv
  load_args: 
    usecols: ['a', 'b']

Также обратите внимание, что те же параметры будут работать для любых панд на основенабор данных.