Я пытаюсь преобразовать RDD в DataFrame, но когда я вызываю sqlContext.createDataFrame, я получаю сообщение об ошибке,
Traceback (most recent call last):
File "/opt/spark/python/lib/pyspark.zip/pyspark/daemon.py", line 170, in manager
File "/opt/spark/python/lib/pyspark.zip/pyspark/daemon.py", line 73, in worker
File "/opt/spark/python/lib/pyspark.zip/pyspark/worker.py", line 402, in main
if read_int(infile) == SpecialLengths.END_OF_STREAM:
File "/opt/spark/python/lib/pyspark.zip/pyspark/serializers.py", line 717, in read_int
raise EOFError
EOFError
В настоящее время соответствующий раздел кода выглядит следующим образом:
data = data.map(lambda x: Row(features=[x[0], x[1], x[2], x[3], x[4], x[5], x[6], x[7], x[8], x[9]], label=x[10]))
sqlContext = SQLContext(sc)
data_df = sqlContext.createDataFrame(data)