Я в растерянности на данный момент.Я пытаюсь запустить PySpark / SparkR на Apache HUE 4.3, используя Spark 2.4 + Livy Server 0.5.0.Я следил за каждым руководством, которое я могу найти, но я продолжаю сталкиваться с этой проблемой.По сути, я могу запустить PySpark / SparkR через командную строку, но HUE по какой-то причине выполняет следующие действия:
- Игнорирует все настройки Spark (память исполнителя, ядра и т. Д.), Которые я установил в несколькихмест (
spark-defaults.conf, livy.conf и livy-client.conf) - Успешно создает сеанс для PySpark и SparkR, но когда вы пытаетесь что-то сделать (даже просто
print(1+1)), я получаю InterpreterError: Fail to start interpreter - На самом деле работает со Scala на HUE.Scala работает, но PySpark и SparkR не работают на HUE (предположительно, поскольку Scala основана на Java).
Любая конфигурация, которую я могу предоставить.Это сводит меня с ума.
Я также не могу взаимодействовать с PySpark через REST API, тот же InterpreterError.Это заставляет меня поверить, что это больше основано на Livy Server, чем на HUE.