Кафка в opentsdb с помощью flink: java.lang.NoClassDefFoundError: Не удалось инициализировать класс org.apache.http.conn.ssl.SSLConnectionSocketFactory - PullRequest
Новая
       36

Кафка в opentsdb с помощью flink: java.lang.NoClassDefFoundError: Не удалось инициализировать класс org.apache.http.conn.ssl.SSLConnectionSocketFactory

0 голосов
/ 25 октября 2018

Это мой код: 

def saveToOpenTSDB(rows: Iterator[String], url: String) {
          val requestConfig: RequestConfig = RequestConfig.custom().setSocketTimeout(2000).setConnectTimeout(2000).setConnectionRequestTimeout(2000).build()
          val httpClient: CloseableHttpClient = HttpClients.createDefault() }

Трассировка стека ошибок:

2018-10-25 12: 40: 39,323 INFO org.apache.flink.client.cli.CliFrontend - -------------------------------------------------------------------------------- 2018-10-25 12: 40: 39,324 INFO org.apache.flink.client.cli.CliFrontend - Запуск клиента командной строки (версия: 1.6.1, версия: 23e2636, дата: 14.09.2018 @ 19:56:46 UTC) 2018-10-25 12: 40: 39324 INFO org.apache.flink.client.cli.CliFrontend - текущий пользователь ОС: root 2018-10-25 12: 40: 39,676 INFO org.apache.flink.client.cli.CliFrontend - текущий пользователь Hadoop / Kerberos: root 2018-10-25 12: 40: 39 676 ИНФОРМАЦИЯ org.apache.flink.client.cli.CliFrontend - JVM: 64-битный сервер Java HotSpot (TM) - корпорация Oracle - 1.8 / 25.172-b11 2018-10-25 12: 40: 39 676ИНФОРМАЦИЯ org.apache.flink.client.cli.CliFrontend - максимальный размер кучи: 7136 МБайт 2018-10-25 12: 40: 39 676 ИНФОРМАЦИЯ org.apache.flink.client.cli.CliFrontend - JAVA_HOME: / usr / java / jdk1.8.0_172 2018-10-25 12: 40: 39 678 INFO org.apache.flink.client.cli.CliFrontend - версия Hadoop: 2.6.5 2018-10-25 12: 40: 39 678 INFO org.apache.flink.client.cli.CliFrontend - параметры JVM: 2018-10-25 12: 40: 39 678ИНФОРМАЦИЯ org.apache.flink.client.cli.CliFrontend -
-Dlog.file = / root / flink-1.6.1 / log / flink-root-client-cuiyk-cdn-test-10.log 2018-10-25 12: 40: 39 678 ИНФОРМАЦИЯ org.apache.flink.client.cli.CliFrontend - -Dlog4j.configuration = file: /root/flink-1.6.1/conf/log4j-cli.properties 2018-10-25 12:40: 39 678 INFO org.apache.flink.client.cli.CliFrontend - -Dlogback.configurationFile = file: /root/flink-1.6.1/conf/logback.xml 2018-10-25 12: 40: 39 678 INFO org.apache.flink.client.cli.CliFrontend - Аргументы программы: 2018-10-25 12: 40: 39 678 INFO org.apache.flink.client.cli.CliFrontend -
запуск 2018-10-25 12: 40: 39 678ИНФОРМАЦИЯ org.apache.flink.client.cli.CliFrontend - -c 2018-10-25 12: 40: 39,678 ИНФОРМАЦИЯ org.apache.flink.client.cli.CliFrontend - dataclean.FlinkDataCleanDemo 2018-10-25 12:40:39 678 ИНФОРМАЦИЯ org.apache.flink.client.cli.CliFrontend -
--parallelism 2018-10-25 12: 40: 39 678 INFO org.apache.flink.client.cli.CliFrontend - 4 2018-10-25 12: 40: 39 678 INFO org.apache.flink.client.cli.CliFrontend - -jobmanager 2018-10-25 12: 40: 39,679 INFO org.apache.flink.client.cli.CliFrontend -
cuiyk-cdn-test-4: 42115 2018-10-25 12: 40: 39,679 INFO org.apache.flink.client.cli.CliFrontend -
./flinkkafka2tsdb.jar 2018-10-25 12: 40: 39,679 INFO org.apache.flink.client.cli.CliFrontend - Classpath: /root/flink-1.6.1/lib/flink-python_2.11-1.6.1.jar:/root/flink-1.6.1/lib/flink-shaded-hadoop2-uber-1.6.1.jar:/root/flink-1.6.1/lib/log4j-1.2.17.jar:/root/flink-1.6.1/lib/slf4j-log4j12-1.7.7.jar:/root/flink-1.6.1/lib/flink-dist_2.11-1.6.1.jar :: / opt / cloudera / parcels / CDH-5.13.3-1.cdh5.13.3.p0.2 / lib / hadoop / etc / hadoop: 2018-10-25 12: 40: 39,679 INFO org.apache.flink.client.cli.CliFrontend - -------------------------------------------------------------------------------- 2018-10-25 12: 40: 39,682 INFO org.apache.flink.configuration.GlobalConfiguration - Загрузка cСвойство onfiguration: classloader.resolve-order, parent-first 2018-10-25 12: 40: 39 682 INFO org.apache.flink.configuration.GlobalConfiguration - Загрузка свойства конфигурации: jobmanager.rpc.address, localhost 2018-10-25 12: 40: 39 682 INFO org.apache.flink.configuration.GlobalConfiguration -Загрузка свойства конфигурации: jobmanager.rpc.port, 6123 2018-10-25 12: 40: 39 682 INFO org.apache.flink.configuration.GlobalConfiguration - Загрузка свойства конфигурации: jobmanager.heap.size, 1024m 2018-10-25 12:40: 39 682 INFO org.apache.flink.configuration.GlobalConfiguration - загрузка свойства конфигурации: taskmanager.heap.size, 1024m 2018-10-25 12: 40: 39 683 INFO org.apache.flink.configuration.GlobalConfiguration - загрузка свойства конфигурации:taskmanager.numberOfTaskSlots, 1 2018-10-25 12: 40: 39 683 INFO org.apache.flink.configuration.GlobalConfiguration - загрузка свойства конфигурации: parallelism.default, 1 2018-10-25 12: 40: 39 683 INFO org.apache.flink.configuration.GlobalConfiguration - загрузка свойства конфигурации: rest.port, 8081 2018-10-25 12: 40: 39 696 INFO org.apache.flink.yarn.cli.FlinkYarnSessionCli
- Найден файл свойств пряжи в / tmp /.пряжа-свойства-корень.2018-10-25 12: 40: 39,914 INFO org.apache.flink.runtime.security.modules.HadoopModule - для пользователя Hadoop задан root (auth: SIMPLE) 2018-10-25 12: 40: 39 936 INFO org.apache.flink.client.cli.CliFrontend - Запуск команды «Выполнить».2018-10-25 12: 40: 39 940 INFO org.apache.flink.client.cli.CliFrontend - Сборка программы из файла JAR 2018-10-25 12: 40: 40,314 INFO org.apache.flink.runtime.rest.RestClient- Завершена работа клиентской конечной точки.2018-10-25 12: 40: 40,316 INFO org.apache.flink.client.cli.CliFrontend - запуск выполнения программы 2018-10-25 12: 40: 40,316 INFO org.apache.flink.client.program.rest.RestClusterClient - запуск программы в интерактивном режиме (отсоединен: false) 2018-10-25 12: 40: 40,346 WARN org.apache.flink.streaming.connectors.kafka.FlinkKafkaConsumer09 - игнорирование настроенного ключа DeSerializer (key.deserializer) 2018-10-25 12: 40: 40,346 ПРЕДУПРЕЖДЕНИЕ org.apache.flink.streaming.connectors.kafka.FlinkKafkaConsumer09 - Игнорирование настроенного значения DeSerializer (value.deserializer) 2018-10-25 12: 40: 40,532 INFO org.apache.flink.configuration.GlobalConfiguration- Загрузка свойства конфигурации: classloader.resolve-order, parent-first 2018-10-25 12: 40: 40 532 INFO org.apache.flink.configuration.GlobalConfiguration - Загрузка свойства конфигурации: jobmanager.rpc.address, localhost 2018-10-25 12: 40: 40,532 INFO org.apache.flink.configuration.GlobalConfiguration - Загрузка свойства конфигурации: jobmanager.rpc.port, 6123 2018-10-25 12: 40: 40,532 INFO org.apache.flink.configuration.GlobalConfiguration - Загружается свойство конфигурации: jobmanager.heap.size, 1024m 2018-10-25 12: 40: 40,532 INFO org.apache.flink.configuration.GlobalConfiguration - Загрузкасвойство конфигурации: taskmanager.heap.size, 1024m 2018-10-25 12: 40: 40 532 INFO org.apache.flink.configuration.GlobalConfiguration - загрузка свойства конфигурации: taskmanager.numberOfTaskSlots, 1 2018-10-25 12: 40: 40 532INFO org.apache.flink.configuration.GlobalConfiguration - загрузка свойства конфигурации: parallelism.default, 1 2018-10-25 12: 40: 40,533 INFO org.apache.flink.configuration.GlobalConfiguration - загрузка свойства конфигурации: rest.port, 80812018-10-25 12: 40: 40,540 ИНФОРМАЦИЯ org.apache.flink.client.program.rest.RestClusterClient - Отправка задания 1b45b5780e0e7067fae20be1db8e7c2f (отсоединено: false).2018-10-25 12: 41: 38,177 ИНФОРМАЦИЯ org.apache.flink.runtime.rest.RestClient - Выключение конечной точки отдыха.2018-10-25 12: 41: 38,179 INFO org.apache.flink.runtime.rest.RestClient - Завершение работы конечной точки завершения завершено.2018-10-25 12: 41: 38,180 ОШИБКА org.apache.flink.client.cli.CliFrontend - Ошибка при выполнении команды.org.apache.flink.client.program.ProgramInvocationException: задание не выполнено.(JobID: 1b45b5780e0e7067fae20be1db8e7c2f) по адресу org.apache.flink.client.program.rest.RestClusterClient.submitJob (RestClusterClient.java:267) в org.apache.flink.client.program.Client.program.Client.program.Cunter (ClusterClient)org.apache.flink.streaming.api.environment.StreamContextEnvironment.execute (StreamContextEnvironment.java:66) в org.apache.flink.streaming.api.scala.StreamExecutionEnvironment.execute (StreamExecutionEnvironment.scala: 654) в datacmoan..main (FlinkDataCleanDemo.scala: 162) в dataclean.FlinkDataCleanDemo.main (FlinkDataCleanDemo.scala) в sun.reflect.refle.DelegatingMethodAccessorImpl.invoke (DelegatingMethodAccessorImpl.java:43) в java.lang.reflect.Method.invoke (Method.java:498) в org.apache.flink.client.program.PackagedProgram.callMain5etjj (в org.apache.flink.client.program.PackagedProgram.invokeInteractiveModeForExecution (PackagedProgram.java:421) в org.apache.flink.client.program.ClusterClient.run (ClusterClient.java:426) в org.apache.flink.client.cli.CliFrontend.executeProgram.jf:в org.apache.flink.client.cli.CliFrontend.runProgram (CliFrontend.java:280) в org.apache.flink.client.cli.CliFrontend.run (CliFrontend.java:215) в org.apache.flink.client.cli.CliFrontend.parseParameters (CliFrontend.java:1044) в org.apache.flink.client.cli.CliFrontend.lambda $ main $ 11 (CliFrontend.java:1120) в java.security.AccessController.doPrivileged (родной)javax.security.auth.Subject.doAs (Subject.java:422) в org.apache.hadoop.security.UserGroupInformation.doAs (UserGroupInformation.java:1692) в org.apache.flink.runtime.security.HadoopSecurityContext.runSecured (HadoopSecurityContext.java:41) at org.apache.flink.client.cli.CliFrontend.main (CliFrontend.java:1120) Причина: java.lang.NoClassDefFoundError: Не удалось инициализировать класс org.apache.http.conn.ssl.SSLConnectionSocketFactory в org.apache.http.impl.client.HttpClientBuilder.build (HttpClientBuilder.java:912) в org.apache.http.impl.client.HttpClients.createDefault.DoTepe(CommonDeploy.scala: 21) в dataclean.FlinkDataCleanDemo $$ anonfun $ main $ 1.apply (FlinkDataCleanDemo.scala: 152) в dataclean.FlinkDataCleanDemo $$ anonfun $ main $ 1.apply (FlinkDatascala...aleg.flink.streaming.api.scala.DataStream $$ anon $ 4.map (DataStream.scala: 607) в org.apache.flink.streaming.api.operators.StreamMap.processElement (StreamMap.java:41) в org.apache.flink.streaming.runtime.tasks.OperatorChain $ CopyingChainingOutput.pushToOperator (OperatorChain.java:579) в org.apache.flink.streaming.runtime.tasks.OperatorChain $ CopyingChainingOutput.collect (OperatorCha4) или OperatorChaginj.flink.streaming.runtime.tasks.OperatorChain $ CopyingChainingOutput.collect (OperatorChain.java:534) в org.apache.flink.streaming.api.operators.AbstractStreamOperator $CountingOutput.collect (AbstractStreamOperator.java:689) в org.apache.flink.streaming.api.operators.AbstractStreamOperator $ CountingOutput.collect (AbstractStreamOperator.java:667) в org.apache.flink.streaming.api.operators.Timestamped.собирать (TimestampedCollector.java:51) в org.apache.flink.streaming.api.scala.DataStream $$ anon $ 6 $$ anonfun $ flatMap $ 1.apply (DataStream.scala: 663)в org.apache.flink.streaming.api.scala.DataStream $$ anon $ 6 $$ anonfun $ flatMap $ 1.apply (DataStream.scala: 663) в scala.collection.LinearSeqOptimized $ class.foreach (LinearSeqOptimized.scala: 73)на scala.collection.mutable.MutableList.foreach (MutableList.scala: 30) на org.apache.flink.streaming.api.scala.DataStream $$ anon $ 6.flatMap (DataStream.scala: 663) на org.apache.flink.streaming.api.operators.StreamFlatMap.processElement (StreamFlatMap.java:50) в org.apache.flink.streaming.runtime.tasks.OperatorChain $ CopyingChainingOutput.pushToOperator (OperatorChain.java:579) на org.ap.runtime.tasks.OperatorChain $ CopyingChainingOutput.collect (OperatorChain.java:554) в org.apache.flink.streaming.runtime.tasks.OperatorChain $ CopyingChainingOutput.collect (OperatorChain.java:534.f) в org.ap.api.operators.AbstractStreamOperator $ CountingOutput.collect (AbstractStreamOperator.java:689) в org.apache.flink.streaming.api.operators.AbstractStreamOperator $ CountingOutput.collect (AbstractStreamOperator.java:667) в org.apache.flink.streaming.api.operators.StreamMap.processElement (StreamMap.java:41) в org.apache.flink.streaming.runtime.io.StreamInputProcessor.processInput (StreamInputProcessor.java:202) в org.apache.flink.streaming.runtime.tasks.OneInputStreamTask.run (OneInputStreamTask.java:105) в org.apache.flink.streaming.runtime.tasks.StreamTask.invoke (StreamTask.java:300) в org.apache.flink.runtime.taskmanager.Task.run (Task.java:711) в java.lang.Thread.run (Thread.java:748) 

//related dependecies:
    <dependency>
            <groupId>commons-httpclient</groupId>
            <artifactId>commons-httpclient</artifactId>
            <version>3.0</version>
        </dependency>

        <dependency>
            <groupId>org.apache.httpcomponents</groupId>
            <artifactId>httpclient</artifactId>
            <version>4.4</version>
        </dependency>

1 Ответ

0 голосов
/ 27 октября 2018

Я только что решил эту проблему, добавив его в плагин Maven Shade в метке конфигурации, как показано ниже: 

                    <relocations>
                        <relocation>
                            <pattern>org.apache.http</pattern>
                            <shadedPattern>shade.org.apache.http</shadedPattern>
                        </relocation>
                    </relocations>
...