pandas CSV для Parquet тип данных не установлен правильно, когда столбец не имеет значений

Question

Я использую функцию read_csv фрейма данных pandas, и время от времени столбцы не имеют значений. В этом случае тип данных, отправленный с использованием параметра dtype , игнорируется.

import pandas as pd
df = pd.read_csv("example.csv", dtype={"col1": "str", "col2": "float", "col3": "str"})
df.to_parquet("example.parquet")

Это CSV-файл, который я использовал:

col1,col2,col3
A,1,
B,2,
C,3,

Я ожидаю, что col3 будет иметь тип в файле паркета, вместо этого INT32

Answer 1

Попробуйте приведенный ниже код, чтобы избежать ошибки, если столбцы не имеют значений.

import pandas as pd
df = pd.read_csv("example.csv", dtype={"col1": "str", "col2": "float", "col3": "str"}).fillna('')
df.to_parquet("example.parquet")