Почему Spark терпит неудачу с «записью значения не является членом org.apache.spark.sql.DataFrameReader [error]»?

Question

У меня есть две почти идентичные записи в БД.заявление scala, однако одно выдает мне ошибку, другое нет, и я не понимаю, как это исправить?есть идеи ?

этот оператор работает

df_pm_visits_by_site_trn.write.format("jdbc").option("url", db_url_2).option("dbtable", "pm_visits_by_site_trn").option("user", db_user).option("password", db_pwd).option("truncate","true").mode("overwrite").save()

этот оператор не работает и выдает ошибку компиляции

df_trsnss .write.format("jdbc").option("url", db_url_2).option("dbtable", "df_trsnss")               .option("user", db_user).option("password", db_pwd).option("truncate","true").mode("overwrite").save()

_dev.scala: 464: запись значенияне является членом org.apache.spark.sql.DataFrameReader [error] df_trsnss.write.format ("jdbc"). option ("url", db_url_2) .option ("dbtable", "trsnss"). option ("user", db_user) .option ("пароль", db_pwd) .option ("truncate", "true"). mode ("overwrite"). save ()

если я удаляю свойвторое оператор write или просто закомментируйте его, весь код компилируется без ошибок.

Answer 1

На основании сообщения об ошибке df_trsnss - это DataFrameReader, а не DataFrame.Вы, вероятно, забыли позвонить load.

val df_trsnss = spark.read.format ("csv")

вместо

val df_trsnss = spark.read.format("csv"). load ("...")