Используйте apache-куратор для хранения смещения кафки в искровой струе на пряже. исключение: пользовательский класс выдал исключение: java.lang.NoSuchMethodError - PullRequest
Новая
       10

Используйте apache-куратор для хранения смещения кафки в искровой струе на пряже. исключение: пользовательский класс выдал исключение: java.lang.NoSuchMethodError

0 голосов
/ 25 октября 2019

Исключительная ситуация класса пользователя: java.lang.NoSuchMethodError: org.apache.curator.framework.api.CreateBuilder.creatingParentContainersIfNeeded () Lorg / apache / curator / framework / api / ProtectACLCreateModeStatPathAndAbЗапускать как локальный модуль, без исключения.

apache-spark: 2.2.0

apache-куратор: 4.0.1, zookeeper-client: 3.4.5, zookeeper-сервер: 3.4.5

код исключения: 

curator.create().creatingParentsIfNeeded().withMode(CreateMode.PERSISTENT).forPath(path, data)

maven pom: 


 <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-hive_2.11</artifactId>
            <exclusions>
                <exclusion>
                    <groupId>org.apache.curator</groupId>
                    <artifactId>curator-framework</artifactId>
                </exclusion>
                <exclusion>
                    <groupId>org.apache.curator</groupId>
                    <artifactId>curator-client</artifactId>
                </exclusion>
            </exclusions>
        </dependency>
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-streaming_2.11</artifactId>
            <exclusions>
                <exclusion>
                    <groupId>org.apache.spark</groupId>
                    <artifactId>spark-core_2.11</artifactId>
                </exclusion>
            </exclusions>
        </dependency>
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-streaming-kafka-0-10_2.11</artifactId>
        </dependency>

        <dependency>
            <groupId>org.apache.curator</groupId>
            <artifactId>curator-framework</artifactId>
            <version>4.0.1</version>
            <exclusions>
                <exclusion>
                    <groupId>org.apache.zookeeper</groupId>
                    <artifactId>zookeeper</artifactId>
                </exclusion>
            </exclusions>
        </dependency>
        <dependency>
            <groupId>org.apache.zookeeper</groupId>
            <artifactId>zookeeper</artifactId>
            <version>3.4.5</version>
            <exclusions>
                <exclusion>
                    <groupId>org.slf4j</groupId>
                    <artifactId>slf4j-log4j12</artifactId>
                </exclusion>
                <exclusion>
                    <groupId>log4j</groupId>
                    <artifactId>log4j</artifactId>
                </exclusion>
            </exclusions>
        </dependency>

Я пытаюсь исключить зависимость куратора в spark-core, но все еще сто же исключение.

...