На кадре данных искры, когда я делаю 'до Pandas', я получаю эту ошибку:
pandas_df = spark_df.to Pandas ()
File " /opt/mapr/spark/spark-2.4.4/python/lib/pyspark.zip/pyspark/sql/dataframe.py ", строка 2122, в Pandas
File" / opt / mapr /spark/spark-2.4.4/python/lib/pyspark.zip/pyspark/sql/dataframe.py ", строка 2180, в _collectAsArrow
ValueError: недостаточно значений для распаковки (ожидается 3, получено 2 )
Версия Spark - 2.4.4 Версия Pyarrow - 0.14.1
То же самое работает с Spark 2.3.1 и pyarrow 0.9.0.
Любая помощь с решением с помощью искры 2.4.4?