Задание Apache Spark завершается с ошибкой NoClassDefFoundError: py4j / GatewayServer - PullRequest
Новая
       41

Задание Apache Spark завершается с ошибкой NoClassDefFoundError: py4j / GatewayServer

0 голосов
/ 03 ноября 2018

Я запускаю рабочий процесс Oozie на кластере Cloudera (Cloudera Express 5.15.1). Одним из действий в моем рабочем процессе является задание Spark, написанное на Python. Раньше рабочий процесс работал гладко в течение долгого времени, а затем пару дней назад начал сбой в задании Spark со следующей трассировкой стека: 

18/11/02 06:00:30 INFO ApplicationMaster: Waiting for spark context initialization ... 
18/11/02 06:00:30 ERROR ApplicationMaster: User class threw exception: java.lang.NoClassDefFoundError: py4j/GatewayServer
java.lang.NoClassDefFoundError: py4j/GatewayServer
    at org.apache.spark.deploy.PythonRunner$.main(PythonRunner.scala:49)
    at org.apache.spark.deploy.PythonRunner.main(PythonRunner.scala)
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
    at java.lang.reflect.Method.invoke(Method.java:498)
    at org.apache.spark.deploy.yarn.ApplicationMaster$$anon$2.run(ApplicationMaster.scala:543)
Caused by: java.lang.ClassNotFoundException: py4j.GatewayServer
    at java.net.URLClassLoader.findClass(URLClassLoader.java:381)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:424)
    at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:335)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:357)
    ... 7 more

Как мне диагностировать и исправлять это?

...