Исключение нулевого указателя при доступе к Dataframe

Question

val opt2 :Option[DataFrame]= None

val result:Option[DataFrame] =opt2.getOrElse(None)
if (!result.isEmpty) {
result.show()
}

Если я не использую getOrElse и использую вместо него get, я получаю исключение нулевого указателя.

Если я использую getOrElse, я получаю Несоответствие типа в результате. Как исправить. Также есть какой-либо метод, как создание пустой Dataframe.

Answer 1

Spark предоставляет предопределенную функцию для объявления пустого dataframe.

Обратите внимание, что ниже код spark в SparkSession.

scala> import org.apache.spark.sql.SparkSession

scala> val df = spark.emptyDataFrame
df: org.apache.spark.sql.DataFrame = []

scala> df.show()
++
||
++
++