В настоящее время выполняется некоторый код, подобный следующему:
df = pd.read_parquet('/tmp/my-file.parquet', engine='pyarrow')
У меня были проблемы с использованием памяти, так как файлы велики, поэтому я хотел выяснить, будет ли fastparquet работать лучше для использования памяти.
Когда я переключаю двигатель:
df = pd.read_parquet('/tmp/my-file.parquet', engine='fastparquet')
Эта строка теперь выдает ошибку, подобную этой:
TypeError: int() argument must be a string, a bytes-like object or a number, not 'NoneType'
Я полагаю, что это происходит, потому что у меня есть целочисленное поле, которое содержит нули.Я не могу найти документацию, которая говорит, что это не поддерживается.
Любые идеи о том, почему это происходит или как обойти это, все еще используя fastparquet?