пропустить плохие строки при записи данных в паркет с помощью fastparquet - PullRequest
Новая
       40

пропустить плохие строки при записи данных в паркет с помощью fastparquet

0 голосов
/ 16 октября 2019

При записи фрейма данных в паркет с помощью fastparquet, если в строке есть значения, которые не соответствуют типу данных столбца, операция завершается неудачей.

Мне нужно использовать fastparquet, так как я работаю с лямбда-выражениями AWSи пиарроу слишком велик. Сохранение файлов в AWS s3.

Я ищу способ пропустить такие плохие строки, например, df.to_csv () имеет опцию error_bad_lines = False.

Код: 

df.to_parquet(
            file_path,
            engine='fastparquet',
            compression='gzip',
            index=False
        )

Ошибка:

ValueError: Невозможно определить тип преобразования объекта: 0 9030-09-11 00: 00: 00

...