не удалось найти неявное значение для ошибки компиляции параметра sqlContext с Frameless и Spark 2.1 - PullRequest
0 голосов
/ 15 октября 2018

Пытаюсь протестировать безрамочный 0.7.0 с помощью spark 2.1, но когда я запускаю это:

  implicit val sqlContext = spark.sqlContext // required for frameless
  val artistsTDS: TypedDataset[Artist] = TypedDataset.create(defaultArtists)

, я получаю следующую ошибку компиляции: could not find implicit value for parameter sqlContext: org.apache.spark.sql.SparkSession

Также ниже не работаетt распечатать мой набор данных, и благодаря user6910411 добавление implicit val sqlContext: SparkSession = spark решает мою исходную ошибку кодировщика, но теперь я получаю следующее.

enter image description here

Если я попытаюсь безрамочный 0.4.0, то, кажется, компилируется, но я получаю следующее во время выполнения:

java.lang.NoSuchMethodError: org.apache.spark.sql.catalyst.expressions.objects...
Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...