Не удается запустить Spark. Мы используем Cloudera CDH 5.14.2 с Java 1.8.0_91. Мы не уверены, какие файлы jar имеют проблемы с разархивированием.
$ spark2-shell --version
Welcome to
____ __
/ __/__ ___ _____/ /__
_\ \/ _ \/ _ `/ __/ '_/
/___/ .__/\_,_/_/ /_/\_\ version 2.2.0.cloudera1
/_/
Using Scala version 2.11.8, OpenJDK 64-Bit Server VM, 1.8.0_91
Branch HEAD
Compiled by user jenkins on 2017-07-13T00:28:58Z
Revision 39f5a2b89d29d5d420d88ce15c8c55e2b45aeb2e
Url git://github.mtv.cloudera.com/CDH/spark.git
Type --help for more information.
Не запускается искровая оболочка
$ spark2-shell
SLF4J: путь к классу содержит несколько привязок SLF4J.
SLF4J: Обнаружена привязка в [jar: file: /usr/lib/zookeeper/lib/slf4j-log4j12-1.7.5.jar! /Org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Обнаружена привязка в [jar: file: /usr/lib/flume-ng/lib/slf4j-log4j12-1.7.5.jar! /Org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Обнаружена привязка в [jar: file: /usr/lib/parquet/lib/slf4j-log4j12-1.7.5.jar! /Org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: См. http://www.slf4j.org/codes.html#multiple_bindings для объяснения.
SLF4J: фактическое связывание имеет тип [org.slf4j.impl.Log4jLoggerFactory]
Исключение в потоке "main" java.lang.IllegalArgumentException: MALFORMED
в java.util.zip.ZipCoder.toString (ZipCoder.java:58)
в java.util.zip.ZipFile.getZipEntry (ZipFile.java:566)
на java.util.zip.ZipFile.access $ 900 (ZipFile.java:60)
в java.util.zip.ZipFile $ ZipEntryIterator.next (ZipFile.java:524)
в java.util.zip.ZipFile $ ZipEntryIterator.nextElement (ZipFile.java:499)
в java.util.zip.ZipFile $ ZipEntryIterator.nextElement (ZipFile.java:480)
на scala.reflect.io.FileZipArchive.x $ 1 $ lzycompute (ZipArchive.scala: 135)
на scala.reflect.io.FileZipArchive.x $ 1 (ZipArchive.scala: 123)
в scala.reflect.io.FileZipArchive.root $ lzycompute (ZipArchive.scala: 123)
в scala.reflect.io.FileZipArchive.root (ZipArchive.scala: 123)
на scala.reflect.io.FileZipArchive.iterator (ZipArchive.scala: 152)
в scala.collection.IterableLike $ class.foreach (IterableLike.scala: 72)
в scala.reflect.io.AbstractFile.foreach (AbstractFile.scala: 91)
в scala.tools.nsc.util.DirectoryClassPath.traverse (ClassPath.scala: 277)
в scala.tools.nsc.util.DirectoryClassPath.x $ 15 $ lzycompute (ClassPath.scala: 299)
в scala.tools.nsc.util.DirectoryClassPath.x $ 15 (ClassPath.scala: 299)
в scala.tools.nsc.util.DirectoryClassPath.packages $ lzycompute (ClassPath.scala: 299)
в scala.tools.nsc.util.DirectoryClassPath.packages (ClassPath.scala: 299)
в scala.tools.nsc.util.DirectoryClassPath.packages (ClassPath.scala: 264)
в scala.tools.nsc.util.MergedClassPath $$ anonfun $ packages $ 1.apply (ClassPath.scala: 358)
в scala.tools.nsc.util.MergedClassPath $$ anonfun $ packages $ 1.apply (ClassPath.scala: 358)
в scala.collection.Iterator $ class.foreach (Iterator.scala: 893)
в scala.collection.AbstractIterator.foreach (Iterator.scala: 1336)
в scala.collection.IterableLike $ class.foreach (IterableLike.scala: 72)
в scala.collection.AbstractIterable.foreach (Iterable.scala: 54)
в scala.tools.nsc.util.MergedClassPath.packages $ lzycompute (ClassPath.scala: 358)
в scala.tools.nsc.util.MergedClassPath.packages (ClassPath.scala: 353)
at scala.tools.nsc.symtab.SymbolLoaders $ PackageLoader $$ anonfun $ doComplete $ 1.apply $ mcV $ sp (SymbolLoaders.scala: 269)
в scala.tools.nsc.symtab.SymbolLoaders $ PackageLoader $$ anonfun $ doComplete $ 1.apply (SymbolLoaders.scala: 260)
в scala.tools.nsc.symtab.SymbolLoaders $ PackageLoader $$ anonfun $ doComplete $ 1.apply (SymbolLoaders.scala: 260)
в scala.reflect.internal.SymbolTable.enteringPhase (SymbolTable.scala: 235)
в scala.tools.nsc.symtab.SymbolLoaders $ PackageLoader.doComplete (SymbolLoaders.scala: 260)
в scala.tools.nsc.symtab.SymbolLoaders $ SymbolLoader.complete (SymbolLoaders.scala: 211)
на scala.reflect.internal.Symbols $ Symbol.info (Symbols.scala: 1514)
в scala.reflect.internal.Mirrors $ RootsBase.init (Mirrors.scala: 256)на scala.tools.nsc.Global.rootMirror $ lzycompute (Global.scala: 73)
на scala.tools.nsc.Global.rootMirror (Global.scala: 71)
на scala.tools.nsc.Global.rootMirror (Global.scala: 39)
в scala.reflect.internal.Definitions $ DefinitionsClass.ObjectClass $ lzycompute (Definitions.scala: 257)
в scala.reflect.internal.Definitions $ DefinitionsClass.ObjectClass (Definitions.scala: 257)
в scala.reflect.internal.Definitions $ DefinitionsClass.init (Definitions.scala: 1394)
на scala.tools.nsc.Global $ Run. (Global.scala: 1215)
at scala.tools.nsc.interpreter.IMain.scala $ tools $ nsc $ интерпретатор $ IMain $$ _ initialize (IMain.scala: 132)
на scala.tools.nsc.interpreter.IMain.global $ lzycompute (IMain.scala: 161)
на scala.tools.nsc.interpreter.IMain.global (IMain.scala: 160)
на scala.tools.nsc.interpreter.ILoop.command (ILoop.scala: 680)
на scala.tools.nsc.interpreter.ILoop.processLine (ILoop.scala: 395)
в org.apache.spark.repl.SparkILoop $$ anonfun $ initializeSpark $ 1.apply $ mcV $ sp (SparkILoop.scala: 38)
в org.apache.spark.repl.SparkILoop $$ anonfun $ initializeSpark $ 1.apply (SparkILoop.scala: 37)
в org.apache.spark.repl.SparkILoop $$ anonfun $ initializeSpark $ 1.apply (SparkILoop.scala: 37)
на scala.tools.nsc.interpreter.IMain.beQuietDuring (IMain.scala: 214)
в org.apache.spark.repl.SparkILoop.initializeSpark (SparkILoop.scala: 37)
в org.apache.spark.repl.SparkILoop.loadFiles (SparkILoop.scala: 98)
на scala.tools.nsc.interpreter.ILoop $$ anonfun $ process $ 1.apply $ mcZ $ sp (ILoop.scala: 920)
на scala.tools.nsc.interpreter.ILoop $$ anonfun $ process $ 1.apply (ILoop.scala: 909)
на scala.tools.nsc.interpreter.ILoop $$ anonfun $ process $ 1.apply (ILoop.scala: 909)
в scala.reflect.internal.util.ScalaClassLoader $ .savingContextLoader (ScalaClassLoader.scala: 97)
на scala.tools.nsc.interpreter.ILoop.process (ILoop.scala: 909)
в org.apache.spark.repl.Main $ .doMain (Main.scala: 70)
в org.apache.spark.repl.Main $ .main (Main.scala: 53)
в org.apache.spark.repl.Main.main (Main.scala)
at sun.reflect.NativeMethodAccessorImpl.invoke0 (собственный метод)
at sun.reflect.NativeMethodAccessorImpl.invoke (NativeMethodAccessorImpl.java:62)
at sun.reflect.DelegatingMethodAccessorImpl.invoke (DelegatingMethodAccessorImpl.java:43)
в java.lang.reflect.Method.invoke (Method.java:498)
в org.apache.spark.deploy.SparkSubmit $ .org $ apache $ spark $ deploy $ SparkSubmit $$ runMain (SparkSubmit.scala: 755)
в org.apache.spark.deploy.SparkSubmit $ .doRunMain $ 1 (SparkSubmit.scala: 180)
в org.apache.spark.deploy.SparkSubmit $ .submit (SparkSubmit.scala: 205)
в org.apache.spark.deploy.SparkSubmit $ .main (SparkSubmit.scala: 119)
в org.apache.spark.deploy.SparkSubmit.main (SparkSubmit.scala)