AttributeError: у объекта 'list' нет атрибута '_createFromLocal' - PullRequest
Новая
       12

AttributeError: у объекта 'list' нет атрибута '_createFromLocal'

0 голосов
/ 31 марта 2020

Я пытаюсь создать Dataframe из списка с одним столбцом в pyspark, но сталкиваюсь с ошибкой:

AttributeError: у объекта 'list' нет атрибута '_createFromLocal'

---> 24 DF_COLS = SparkSession.createDataFrame (src_cols, schema) 25 DF_COLS.show () 26

C: \ spark \ spark-2.4.5-bin-hadoop2.7 \ python \ lib \ pyspark.zip \ pyspark \ sql \ session.py в createDataFrame (self, data, schema, samplingRatio, verifySchema) 746 rdd, schema = self._createFromRDD (data.map (prepare), схема, samplingRatio) 747 else: -> 748 rdd, схема = self. * ())

AttributeError: у объекта 'list' нет атрибута '_createFromLocal' 

STDIN = (sqlContext.read
            .format("com.databricks.spark.csv")
            .option("header", "true")
            .load("filepath"))

src_cols = STDIN.columns
src_cols = [tuple(map(str, sub.split(','))) for sub in src_cols]
print (src_cols)

schema = StructType([StructField("colnm", StringType(), True)])

DF_COLS=SparkSession.createDataFrame(src_cols, schema)
DF_COLS.show()
...