Ошибка отражения при создании искровой сессии через Livy - PullRequest
0 голосов
/ 22 ноября 2018

Я создаю сеанс зажигания через LivyClient.Код для создания сеанса: -

var client: LivyClient = null
  try {
    client = new LivyClientBuilder()
      .setURI(new URI("http://127.0.0.1:4141"))
      .build();
    val pi = client.submit(new FileStream()).get
  } finally {
    client.stop(true)
  }

При создании сеанса я получаю сообщение об ошибке -

Исключение в потоке "main" scala.reflect.internal.FatalError: object Predefне имеет члена classOf введите описание изображения здесь

Я использую следующие версии -

  1. Apache Livy - 0.5.0-инкубирование
  2. Apache Spark - 2.3.0
  3. Scala - 2.11 (2.11.8)

Я проверил версию с отражением scala во всех трех, и они одинаковы.

Я не могу понять, что является причиной ошибки ниже

1 Ответ

0 голосов
/ 11 декабря 2018

Какую версию Java вы используете?Похоже, что изменения в Java 9 в отношении удаления устаревших функций останавливает Spark с ошибками, относящимися к отражению.На домашней странице написано, что Java должна быть не ниже версии 8.

...