вернуть Pandas Series внутри искры pandas_udf

Question

on Apache Spark У меня есть функция pandas_udf, которая должна возвращать pd.Series Как это можно заархивировать?

Я пытался:

@pandas_udf(ArrayType(LongType()), PandasUDFType.SCALAR_ITER) # Only works with spark 3.0
def udf(iterator):
  ...
  return pd.Series([1,2,3,4,5])

это дает исключение:

pyarrow.lib.ArrowNotImplementedError: NumPyConverter doesn't implement <list<item: int64>> conversion.

Answer 1

хорошо, это была ошибка на моей стороне. Тип схемы от pandas udf