У меня есть фрейм данных, который выглядит следующим образом:
df
geometry idx
0 POLYGON ((-74.25559 40.91553, -74.24559 40.915... 0
1 POLYGON ((-74.25559 40.90553, -74.24559 40.905... 1
2 POLYGON ((-74.25559 40.89553, -74.24559 40.895... 2
3 POLYGON ((-74.25559 40.88553, -74.24559 40.885... 3
4 POLYGON ((-74.25559 40.87553, -74.24559 40.875... 4
Я хотел бы преобразовать его в фрейм данных pyspark
mySchema = StructType([
StructField("geometry", StringType(), False),
StructField("Code", IntegerType(), True)])
gridDF = spark.createDataFrame(df, schema=mySchema)
, но я получаю следующую ошибку
gridDF.show(5)
org.apache.spark.SparkException: Job aborted due to stage failure: Task 0 in stage 69.0 failed 4 times, most recent failure: Lost task 0.3 in stage 69.0 (TID 28716, 10.17.21.12, executor 9): java.lang.ClassCastException: org.apache.spark.sql.catalyst.expressions.UnsafeArrayData cannot be cast to org.apache.spark.unsafe.types.UTF8String
Py4JJavaError: An error occurred while calling o2832.showString.