Почему это ошибка компилятора, но она запускается в Spark-shell?

Question

Команда

println(  sql( "SELECT date_format(now(),'yyyyMMdd')" ).as[String].first )

отлично работает на Spark-shell (используя Spark v2.2), но строка

 val databaseNow = spark.sql( "SELECT date_format(now(),'yyyyMMdd')" ).as[String].first

не компилируется. Я пробую много вариантов импорта и проблема сохраняется. Я пробую варианты синтаксиса как df.first.toString, но это не решение ([x] не x).

Answer 1

Просто включите включенные кодировщики, такие как:

val spark: SparkSession =
  SparkSession
    .builder()
    .appName("test")
    .getOrCreate()

import spark.implicits._

val databaseNow = spark.sql( "SELECT date_format(now(),'yyyyMMdd')" ).as[String].first