Я хотел бы использовать новые ntylable dtypes в pandas 1.0. У кого-нибудь был успех с сериализацией pd.DataFrame, содержащей столбец целых чисел, обнуляемых с помощью pyarrow?
Ресурсы, которые я использовал до сих пор, документированы в блоке кода. Буду признателен за любую оказанную помощь.
import pandas as pd
import pyarrow # version 0.16
import pyarrow as pa
# workaround suggested in https://issues.apache.org/jira/browse/ARROW-5379
pd.arrays.IntegerArray.__arrow_array__ = lambda self, type: pyarrow.array(self._data, mask=self._mask, type=type)
df = pd.DataFrame([1, 2])
df = df.convert_dtypes()
# following https://arrow.apache.org/docs/python/ipc.html#serializing-pandas-objects
context = pa.default_serialization_context()
context.serialize(df)
Сообщение об ошибке
SerializationCallbackError: pyarrow does not know how to serialize objects of type <class 'pandas.core.arrays.integer.IntegerArray'>.