EOFError при вызове sqlContext.createDataFrame - PullRequest
0 голосов
/ 04 октября 2019

Я пытаюсь преобразовать RDD в DataFrame, но когда я вызываю sqlContext.createDataFrame, я получаю сообщение об ошибке,

Traceback (most recent call last):                                              
  File "/opt/spark/python/lib/pyspark.zip/pyspark/daemon.py", line 170, in manager
  File "/opt/spark/python/lib/pyspark.zip/pyspark/daemon.py", line 73, in worker
  File "/opt/spark/python/lib/pyspark.zip/pyspark/worker.py", line 402, in main
    if read_int(infile) == SpecialLengths.END_OF_STREAM:
  File "/opt/spark/python/lib/pyspark.zip/pyspark/serializers.py", line 717, in read_int
    raise EOFError
EOFError

В настоящее время соответствующий раздел кода выглядит следующим образом:

data = data.map(lambda x: Row(features=[x[0], x[1], x[2], x[3], x[4], x[5], x[6], x[7], x[8], x[9]], label=x[10]))

sqlContext = SQLContext(sc)

data_df = sqlContext.createDataFrame(data)  

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...