В моем ноутбуке Jupyter настроена среда Spark Magic. Моя цель - прочитать файл Excel и сгенерировать для него таблицу hadoop. Но когда я иду по процедуре создания pandas dataframe, читая файл Excel, а затем создавая spark dataframe и затем таблицу hadoop из spark dataframe, я получаю сообщение об ошибке: «Невозможно вызвать saveAsTable. Продолжая исследование, я понял, что не могу выполнить никакой логические команды (скажем .count (), .show ()) на моем искровом фрейме данных.
Хотя если я читаю существующую таблицу hadoop в искровом фрейме данных, а затем записываю в таблицу hadoop, она прекрасно работает.
Тот же код работает нормально с нормальной инициализацией искры, но не в искровой магии.
Код:
pandas_df=pd.read_excel(os.path.join(os.getcwd(),'pragya.xlsx'))
spark_df = spark.createDataFrame(pandas_df)
spark_df.write.mode("overwrite").saveAsTable("myDB.pragya_test")
Py4JJavaError: Произошла ошибка при вызове o937.saveAsTable.
: org.apache.spark.SparkException: задание прервано.