получение ошибки преобразования pandas кадра данных в кадр данных искры - PullRequest
0 голосов
/ 16 июня 2020

У меня есть код pandas, который пытается преобразовать в pyspark, я получаю сообщение об ошибке: «Не удается объединить тип pyspark класса. sql .types.StringType» и класс pyspark. sql .types.DoubleType '"

sc = SparkContext(master = "local", appName="geneateAggregationffile")
sqlContext = SQLContext(sc)

configsheet = pd.read_excel('Fin_withconfig.xlsx', sheet_name='Configuration', na_values=['NA'])

sp_df = sqlContext.createDataFrame (configsheet) print (sp_df)

Здесь я не могу создать схему для сопоставления типов данных столбца, как решить вышеуказанную проблему?

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...