Мой livy.pyspark работает отлично, но livy.sparkr не работает с
df <- createDataFrame (верный) [1] «Ошибка в getSparkSession (): SparkSession не инициализирован» </p>
, когда яперейти к журналам livy, которые я вижу
18/12/21 02:37:03 INFO LineBufferedStream: stdout: 18/12/21 02:37:03 INFO SparkEntries: контекст Spark завершил инициализацию в 10741ms 18/12 /21 02:37:03 ИНФОРМАЦИЯ LineBufferedStream: stdout: 18.12.21 02:37:03 ИНФОРМАЦИЯ SparkEntries: Создан сеанс Spark (с поддержкой Hive).18/12/21 02:37:06 INFO RSCClient: полученный результат для 3d3491ff-2173-49e8-a09d-b918d1e89d77 18/12/21 02:37:06 INFO InteractiveSession: создан интерактивный сеанс 2 [appid: application_1544485759793_0040, владелец: null, proxyUser: Some (admin), состояние: бездействующий, вид: sparkr, info: {driverLogUrl = null, sparkUiUrl = null}] 18/12/21 02:37:06 INFO LineBufferedStream: stdout: Исключение в потоке "Бэкэнд SparkR"java.lang.ClassCastException: scala.Tuple2 не может быть приведен к java.lang.Integer 18/12/21 02:37:06 ИНФОРМАЦИЯ LineBufferedStream: stdout: at scala.runtime.BoxesRunTime.unboxToInt (BoxesRunTime.java:101) 18 /21.12 02:37:06 ИНФОРМАЦИЯ LineBufferedStream: stdout: at org.apache.livy.repl.SparkRInterpreter $$ anon $ 1.run (SparkRInterpreter.scala: 83)
Как это исправить?Zeppelin 0.7.3 с livy 0.5 на spark 2.2.1 Я попытался запустить sparkr прямо на кластере, и он отлично работает