Pspark & ​​Jupyter: неподдерживаемая версия major.minor 52.0

Question

Я понизил с JDK 1.8 до 1.7, так как пытаюсь решить другую проблему, для которой одним из предложений было использование 1.7.

Однако теперь я обнаружил, что мой ноутбук Juypyter теперь висит на этой строке:

spark = SparkSession.builder.appName("Basic").master("local[*]").config("spark.network.timeout","50s").config("spark.executor.heartbeatInterval", "50s").getOrCreate();

Глядя на консоль я вижу:

Exception in thread "main" java.lang.UnsupportedClassVersionError: org/apache/spark/launcher/Main : Unsupported major.minor version 52.0
        at java.lang.ClassLoader.defineClass1(Native Method)
        at java.lang.ClassLoader.defineClass(Unknown Source)
        at java.security.SecureClassLoader.defineClass(Unknown Source)
        at java.net.URLClassLoader.defineClass(Unknown Source)
        at java.net.URLClassLoader.access$100(Unknown Source)
        at java.net.URLClassLoader$1.run(Unknown Source)
        at java.net.URLClassLoader$1.run(Unknown Source)
        at java.security.AccessController.doPrivileged(Native Method)
        at java.net.URLClassLoader.findClass(Unknown Source)
        at java.lang.ClassLoader.loadClass(Unknown Source)
        at sun.misc.Launcher$AppClassLoader.loadClass(Unknown Source)
        at java.lang.ClassLoader.loadClass(Unknown Source)
        at sun.launcher.LauncherHelper.checkAndLoadMain(Unknown Source)

То, что я понимаю из поиска, связано с использованием разных версий Java. Однако мой путь и Java_Home указывают на 1,7, а не на 1,8, и я перезагрузил свой компьютер. Что еще я должен сделать? Должен ли я удалить и повторно выполнить установку pip в pyspark?

Answer 1

Просто используйте контейнер Docker из: https://github.com/jupyter/docker-stacks Зачем тебе это трудно?