Исключение «Информация о подписи не соответствует» в Spark - PullRequest
0 голосов
/ 04 декабря 2018

Я использую eclipse для запуска Spark Code с упругим поиском, используя maven, и застрял с ошибкой ниже, что довольно неприятно.Я видел, что многие другие также застряли с этой проблемой, и я знаю, что это имеет некоторую проблему конфликта классов, но я не могу понять, с какой зависимостью пробовали почти все комбинации.

    18/12/05 00:26:42 ERROR SparkContext: Error initializing SparkContext.
java.lang.SecurityException: class "javax.servlet.FilterRegistration"'s signer information does not match signer information of other classes in the same package
    at java.lang.ClassLoader.checkCerts(ClassLoader.java:898)
    at java.lang.ClassLoader.preDefineClass(ClassLoader.java:668)
    at java.lang.ClassLoader.defineClass(ClassLoader.java:761)
    at java.security.SecureClassLoader.defineClass(SecureClassLoader.java:142)
    at java.net.URLClassLoader.defineClass(URLClassLoader.java:467)
    at java.net.URLClassLoader.access$100(URLClassLoader.java:73)
    at java.net.URLClassLoader$1.run(URLClassLoader.java:368)
    at java.net.URLClassLoader$1.run(URLClassLoader.java:362)
    at java.security.AccessController.doPrivileged(Native Method)
    at java.net.URLClassLoader.findClass(URLClassLoader.java:361)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:424)
    at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:331)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:357)
    at org.spark-project.jetty.servlet.ServletContextHandler.<init>(ServletContextHandler.java:136)
    at org.spark-project.jetty.servlet.ServletContextHandler.<init>(ServletContextHandler.java:129)
    at org.spark-project.jetty.servlet.ServletContextHandler.<init>(ServletContextHandler.java:98)
    at org.apache.spark.ui.JettyUtils$.createServletHandler(JettyUtils.scala:126)
    at org.apache.spark.ui.JettyUtils$.createServletHandler(JettyUtils.scala:113)
    at org.apache.spark.ui.WebUI.attachPage(WebUI.scala:78)
    at org.apache.spark.ui.WebUI$$anonfun$attachTab$1.apply(WebUI.scala:62)
    at org.apache.spark.ui.WebUI$$anonfun$attachTab$1.apply(WebUI.scala:62)
    at scala.collection.mutable.ResizableArray$class.foreach(ResizableArray.scala:59)
    at scala.collection.mutable.ArrayBuffer.foreach(ArrayBuffer.scala:47)
    at org.apache.spark.ui.WebUI.attachTab(WebUI.scala:62)
    at org.apache.spark.ui.SparkUI.initialize(SparkUI.scala:63)
    at org.apache.spark.ui.SparkUI.<init>(SparkUI.scala:76)
    at org.apache.spark.ui.SparkUI$.create(SparkUI.scala:195)
    at org.apache.spark.ui.SparkUI$.createLiveUI(SparkUI.scala:146)
    at org.apache.spark.SparkContext.<init>(SparkContext.scala:473)
    at org.apache.spark.api.java.JavaSparkContext.<init>(JavaSparkContext.scala:59)'

Вот мой pom.xml

<dependencies>    
<dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-sql_${scala.version}</artifactId>
            <exclusions>
                <exclusion>
                    <groupId>org.apache.spark</groupId>
                    <artifactId>spark-core_${scala.version}</artifactId>
                </exclusion>
                <exclusion>
                    <groupId>org.spark-project.akka</groupId>
                    <artifactId>akka-remote_${scala.version}</artifactId>
                </exclusion>

                <exclusion>
                    <groupId>org.spark-project.akka</groupId>
                    <artifactId>akka-actor_${scala.version}</artifactId>
                </exclusion>

                <exclusion>
                    <groupId>org.spark-project.akka</groupId>
                    <artifactId>akka-slf4j_${scala.version}</artifactId>
                </exclusion>
            </exclusions>
        </dependency>

        <dependency>
            <groupId>org.elasticsearch</groupId>
            <artifactId>elasticsearch</artifactId>
            <version>${es.version}</version>
        </dependency>
        <dependency>
            <groupId>org.elasticsearch</groupId>
            <artifactId>elasticsearch-hadoop</artifactId>
            <version>${es.version}</version>
            <exclusions>
                <exclusion>
                    <groupId>org.apache.spark</groupId>
                    <artifactId>spark-sql_2.10</artifactId>
                </exclusion>
                <exclusion>
                    <groupId>org.apache.pig</groupId>
                    <artifactId>pig</artifactId>
                </exclusion>
                <exclusion>
                    <groupId>org.apache.storm</groupId>
                    <artifactId>storm-core</artifactId>
                </exclusion>
                <exclusion>
                    <groupId>org.apache.spark</groupId>
                    <artifactId>spark-core_2.10</artifactId>
                </exclusion>
                <exclusion>
                    <groupId>org.apache.spark</groupId>
                    <artifactId>spark-streaming_2.10</artifactId>
                </exclusion>
                <exclusion>
                    <groupId>cascading</groupId>
                    <artifactId>cascading-hadoop</artifactId>
                </exclusion>
                <exclusion>
                    <groupId>cascading</groupId>
                    <artifactId>cascading-local</artifactId>
                </exclusion>
                <exclusion>
                    <groupId>org.apache.hive</groupId>
                    <artifactId>hive-service</artifactId>
                </exclusion>
            </exclusions>
        </dependency>

        <dependency>
            <groupId>com.oracle</groupId>
            <artifactId>ojdbc6</artifactId>
            <version>${ojdbc6.version}</version>
        </dependency>

    </dependencies>

Код, который запускается:

final SparkConf sConf = new SparkConf().setAppName(Name).setIfMissing("spark.master","local[*]");
jsc = new JavaSparkContext(sConf);

Любое предложение, от которого мне нужна зависимость, чтобы исключить Java.servelet

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...