Конвертировать CSV в паркет в Кедро - PullRequest
Новая
       18

Конвертировать CSV в паркет в Кедро

2 голосов
/ 24 февраля 2020

У меня довольно большой CSV, который не помещается в память, и мне нужно преобразовать его в файл .parquet для работы с vaex.

Вот мой каталог: 

raw_data:
    type: kedro.contrib.io.pyspark.SparkDataSet
    filepath: data/01_raw/data.csv
    file_format: csv

parquet_data:
    type: ParquetLocalDataSet
    filepath: data/02_intermediate/data.parquet

узел: 

def convert_to_parquet(data: SparkDataSet) -> ParquetLocalDataSet:
    return data.coalesce(1)

и конвейер: 

def create_pipeline(**kwargs):
    return Pipeline(
        [
            node(
                func=convert_to_parquet,
                inputs="raw_data",
                outputs="parquet_data",
                name="data_to_parquet",
            ),
        ]
    )

Но если я делаю kedro run, я получаю эту ошибку kedro.io.core.DataSetError: Failed while saving data to data set ParquetLocalDataSet(engine=auto, filepath=data/02_intermediate/data.parquet, save_args={}). 'DataFrame' object has no attribute 'to_parquet'

Что я должен исправить, чтобы получить мой набор данных преобразован?

1 Ответ

3 голосов
/ 24 февраля 2020

Вы можете попробовать следующее. Это работало для меня в прошлом. 

parquet_data:
    type: kedro.contrib.io.pyspark.SparkDataSet
    file_format: 'parquet'
    filepath: data/02_intermediate/data.parquet
    save_args:
...