у меня ошибка при запуске простой программы WordCount

Question

Я получаю сообщение об ошибке при запуске программы wordcount ..

Я пытался на оболочке Python

from pyspark import SparkContext

sc = SparkContext("local", "count app")

words = sc.parallelize (
   ["scala", 
   "java", 
   "hadoop", 
   "spark", 
   "akka",
   "spark vs hadoop", 
   "pyspark",
   "pyspark and spark"]
)

counts = words.count()

print("Number of elements in RDD -> %i" % (counts))

Трассировка (последний последний вызов): Файл "C:/Users/user/AppData/Local/Programs/Python/Python37/pyspark1.py ", строка 13, в файле coll = words.collect ()" C: \ Users \ user \ AppData \ Local \ Programs \ Python \ Python37 \ "lib \ site-packages \ pyspark \ rdd.py ", строка 816, в файле collect sock_info = self.ctx._jvm.PythonRDD.collectAndServe (self._jrdd.rdd ()) Файл" C: \ Users \ user \ AppData \ Local\ Programs \ Python \ Python37 \ lib \ site-packages \ py4j \ java_gateway.py ", строка 1257, в вызов answer, self.gateway_client, self.target_id, self.name) Файл" C: \Users \ user \ AppData \ Local \ Programs \ Python \ Python37 \ lib \ site-packages \ py4j \ protocol.py ", строка 328, в формате get_return_value (target_id,". ", Name), значение) py4j.protocol.Py4JJavaError: Произошла ошибка при вызове z: org.apache.spark.api.python.PythonRDD.collectAndServe.: java.lang.IllegalArgumentException: Неподдерживаемая основная версия файла класса 56

в org.apache.xbean.asm6.ClassReader. (ClassReader.java:166)

в org.apache.xbean.asm6.ClassReader. (ClassReader.java:148)

в org.apache.xbean.asm6.ClassReader. (ClassReader.java:136)

в org.apache.xbean.asm6.ClassReader. (ClassReader.java:237)

в org.apache.spark.util.ClosureCleaner $ .getClassReader (ClosureCleaner.scala: 49)

в org.apache.spark.util.FieldAccessFinder $$ anon $ 3 $$ anonfun $ visitMethodInsn $ 2.apply (ClosureCleaner.scala: 517)

в org.apache.spark.util.FieldAccessFinder $$ anon $ 3 $$ anonfun $ visitMethodInsn $ 2.apply (.scala: 500)

в scala.collection.TraversableLike $ WithFilter $$ anonfun $ foreach $ 1.apply (TraversableLike.scala: 733)

в scala.collection.mutable.HashMap $$anon $ 1 $$ anonfun $ foreach $ 2.apply (HashMap.scala: 134)

на scala.collection.mutable.HashMap $$ anon $ 1 $$ anonfun $ foreach $ 2.apply (HashMap.scala: 134)

в scala.collection.mutable.HashTable $ class.foreachEntry (HashTable.scala: 236)

в scala.collection.mutable.HashMap.foreachEntry (HashMap.scala: 40)

на scala.collection.mutable.HashMap $$ anon $ 1.foreach (HashMap.scala: 134)

на scala.collection.TraversableLike $ WithFilter.foreach (TraversableLike.scala: 732)

в org.apache.spark.util.FieldAccessFinder $$ anon $ 3.visitMethodInsn (ClosureCleaner.scala: 500)

в org.apache.xbean.asm6.ClassReader.readCode (ClassReader.java:2175)

в org.apache.xbean.asm6.ClassReader.readMethod (ClassReader.java:1238)

в org.apache.xbean.asm6.ClassReader.accept (ClassReader.java:631)

в org.apache.xbean.asm6.ClassReader.accept (ClassReader.java:355)

в org.apache.spark.util.ClosureCleaner $$ anonfun $ org $ apache $ spark $ util $ ClosureCleaner $$ clean $ 14.apply (ClosureCleaner.scala: 307)

в org.apache.spark.util.ClosureCleaner $$ anonfun $ org $ apache $ spark $ util $ ClosureCleaner $$ clean $ 14.apply (ClosureCleaner.scala: 306)

в scala.collection.immutable.List.foreach (List.scala: 392)

в орг.apache.spark.util.ClosureCleaner $ .org $ apache $ spark $ util $ ClosureCleaner $$ clean (ClosureCleaner.scala: 306)

в org.apache.spark.util.ClosureCleaner $ .clean (ClosureCleaner.scala: 162)

в org.apache.spark.SparkContext.clean (SparkContext.scala: 2326)

в org.apache.spark.SparkContext.runJob (SparkContext.scala: 2100)

в org.apache.spark.SparkContext.runJob (SparkContext.scala: 2126)

в org.apache.spark.rdd.RDD $$ anonfun $ собирать $ 1.применить (СДР.scala: 945)

в org.apache.spark.rdd.RDDOperationScope $ .withScope (RDDOperationScope.scala: 151)

вorg.apache.spark.rdd.RDDOperationScope $ .withScope (RDDOperationScope.scala: 112)

at org.apache.spark.rdd.RDD.withScope (RDD.scala: 363)

в org.apache.spark.rdd.RDD.collect (RDD.scala: 944)

в org.apache.spark.api.python.PythonRDD $ .collectAndServe (PythonRDD.scala: 166)

в org.apache.spark.api.python.PythonRDD.collectAndServe (PythonRDD.scala)

в java.base / jdk.internal.reflect.NativeMethodAccessorImpl.invoke0 (Native Метод)

в java.base / jdk.internal.reflect.NativeMethodAccessorImpl.invoke (NativeMethodAccessorImpl.java:62)

в java.base / jdk.internal.reflect.DelegatingMethodAccessorImpl.invoke (DelegatingMethodAccessorImpl.java:43)

в java.base / java.lang.reflect.Method.invoke (Method.java:567)

at py4j.reflection.MethodInvoker.invoke (MethodInvoker.java:244)

at py4j.reflection.ReflectionEngine.invoke (ReflectionEngine.java:357)

at py4j.Gateway.invoke (Gateway.java:282)

в py4j.commands.AbstractCommand.invokeMethod (AbstractCommand.java:132)

at py4j.commands.CallCommand.execute (CallCommand.java:79)

at py4j.GatewayConnection.run (GatewayConnection.java:238)

в java.base / java.lang.Thread.run (Thread.java:835)

Answer 1

Spark не работает с версией Java выше 9 попробуйте понижение до Java 8