BeanCreationException: Ошибка создания бина с именем defaultValidator в Spark-Submit - PullRequest
0 голосов
/ 23 сентября 2018

Создано искровое структурированное потоковое приложение с использованием весенней загрузки.BootRun работает нормально, но при развертывании того же jar-файла с использованием «spark-submit» выдает следующую ошибку:

org.springframework.beans.factory.BeanCreationException: Error creating bean with name 'defaultValidator' defined in class path resource [org/springframework/boot/autoconfigure/validation/ValidationAutoConfiguration.class]: Invocation of init method failed; nested exception is java.lang.NoSuchMethodError: javax.validation.BootstrapConfiguration.getClockProviderClassName()Ljava/lang/String;

Ниже приведен список моих зависимостей из build.gradle

compile("org.springframework.boot:spring-boot-starter-security")
compile('org.apache.kafka:kafka-streams')
compileOnly('org.projectlombok:lombok:1.18.2')
testCompile('org.springframework.boot:spring-boot-starter-test')
testCompile('org.springframework.security:spring-security-test')
compile('org.apache.spark:spark-sql_2.11:2.3.1')
compile('org.apache.spark:spark-streaming-kafka-0-10_2.11:2.3.1')
compile('org.apache.spark:spark-streaming_2.11:2.3.1')
compile('org.apache.spark:spark-sql-kafka-0-10_2.11:2.3.1')
compile group: 'com.google.protobuf', name: 'protobuf-java', version: '3.6.1'
compile('org.springframework.boot:spring-boot-starter-web')
compile group: 'javax.validation', name: 'validation-api', version: '2.0.1.Final'
testCompile group: 'junit', name: 'junit', version: '4.12'
compile "redis.clients:jedis:2.9.0"
compile group: 'org.eclipse', name: 'yasson', version: '1.0.1'
compile (group: 'org.glassfish', name: 'javax.json', version: '1.1.2')

Требуется помощь!Есть предложения?

1 Ответ

0 голосов
/ 23 сентября 2018

Причина: Spark имеет более раннюю версию javax.validation: validation-api, без метода «getClockProviderClassName».

Могут помочь такие параметры, как «userClassPathFirst»: Разрешение пути к классу между spark uber jar иspark-submit --jars, когда похожие классы существуют в обоих

...