Я пытаюсь запустить простую программу Phoenix, которая отлично работает в локальном режиме, используя spark-submit. Но получается следующее исключение, работающее в режиме кластера.
l.cj.core.exceptions.WrongArgumentException: неверно сформированный URL базы данных, не удалось проанализировать основные разделы URL.
java.lang.RuntimeException: java.sql.SQLNonTransientConnectionException: не удается загрузить класс соединения из-за основного исключения: com.mysql.cj.core.exceptions.WrongArgumentException: неверно сформированный URL базы данных, не удалось проанализировать основные разделы URL.
в org.apache.phoenix.mapreduce.PhoenixInputFormat.getQueryPlan (PhoenixInputFormat.java:201)
в org.apache.phoenix.mapreduce.PhoenixInputFormat.getSplits (PhoenixInputFormat.java:87)
в org.apache.spark.rdd.NewHadoopRDD.getPartitions (NewHadoopRDD.scala: 125)
в org.apache.spark.rdd.RDD $$ anonfun $ partitions $ 2.apply (RDD.scala: 252)
в org.apache.spark.rdd.RDD $$ anonfun $ partitions $ 2.apply (RDD.scala: 250)
в scala.Option.getOrElse (Option.scala: 121)
в org.apache.spark.rdd.RDD.partitions (RDD.scala: 250)
в org.apache.spark.rdd.MapPartitionsRDD.getPartitions (MapPartitionsRDD.scala: 35)
в org.apache.spark.rdd.RDD $$ anonfun $ partitions $ 2.apply (RDD.scala: 252)
в org.apache.spark.rdd.RDD $$ anonfun $ partitions $ 2.apply (RDD.scala: 250)
в scala.Option.getOrElse (Option.scala: 121)
в org.apache.spark.rdd.RDD.partitions (RDD.scala: 250)
в org.elasticsearch.spark.rdd.EsSpark $ .doSaveToEs (EsSpark.scala: 94)
в org.elasticsearch.spark.rdd.EsSpark $ .saveToEs (EsSpark.scala: 79)
в org.elasticsearch.spark.rdd.EsSpark $ .saveToEs (EsSpark.scala: 76)
в org.elasticsearch.spark.rdd.EsSpark $ .saveJsonToEs (EsSpark.scala: 111)
в org.elasticsearch.spark.rdd.api.java.JavaEsSpark $ .saveJsonToEs (JavaEsSpark.scala: 63)
в org.elasticsearch.spark.rdd.api.java.JavaEsSpark.saveJsonToEs (JavaEsSpark.scala)
в com.voicebase.etl.PhoenixToElasticSearch.main (PhoenixToElasticSearch.java:99)
at sun.reflect.NativeMethodAccessorImpl.invoke0 (собственный метод)
at sun.reflect.NativeMethodAccessorImpl.invoke (NativeMethodAccessorImpl.java:62)
at sun.reflect.DelegatingMethodAccessorImpl.invoke (DelegatingMethodAccessorImpl.java:43)
в java.lang.reflect.Method.invoke (Method.java:498)
в org.apache.spark.deploy.SparkSubmit $ .org $ apache $ spark $ deploy $ SparkSubmit $$ runMain (SparkSubmit.scala: 775)
в org.apache.spark.deploy.SparkSubmit $ .doRunMain $ 1 (SparkSubmit.scala: 180)
в org.apache.spark.deploy.SparkSubmit $ .submit (SparkSubmit.scala: 205)
в org.apache.spark.deploy.SparkSubmit $ .main (SparkSubmit.scala: 119)
в org.apache.spark.deploy.SparkSubmit.main (SparkSubmit.scala)
Причина: java.sql.SQLNonTransientConnectionException: не удается загрузить класс подключения из-за основного исключения: com.mysql.cj.core.exceptions.WrongArgumentException: неверно сформированный URL базы данных, не удалось проанализировать основные разделы URL.
в com.mysql.cj.jdbc.exceptions.SQLError.createSQLException (SQLError.java:526)
в com.mysql.cj.jdbc.exceptions.SQLError.createSQLException (SQLError.java:513)
в com.mysql.cj.jdbc.exceptions.SQLError.createSQLException (SQLError.java:505)
в com.mysql.cj.jdbc.exceptions.SQLError.createSQLException (SQLError.java:479)
в com.mysql.cj.jdbc.exceptions.SQLError.createSQLException (SQLError.java:489)
в com.mysql.cj.jdbc.exceptions.SQLExceptionsMapping.translateException (SQLExceptionsMapping.java:72)
в com.mysql.cj.jdbc.exceptions.SQLExceptionsMapping.translateException (SQLExceptionsMapping.java:124)
на com.mysql.cj.jdbc.NonRegisteringDriver.connect (NonRegisteringDriver.java:224)
в java.sql.DriverManager.getConnection (DriverManager.java:664)
в java.sql.DriverManager.getConnection (DriverManager.java:208)
в org.apache.phoenix.mapreduce.util.ConnectionUtil.getConnection (ConnectionUtil.java:98)в org.apache.phoenix.mapreduce.util.ConnectionUtil.getInputConnection (ConnectionUtil.java:57)
в org.apache.phoenix.mapreduce.PhoenixInputFormat.getQueryPlan (PhoenixInputFormat.java:176)
... еще 27
Вызвано: com.mysql.cj.core.exceptions.UnableToConnectException: не удается загрузить класс соединения из-за основного исключения: com.mysql.cj.core.exceptions.WrongArgumentException: неверно сформированный URL базы данных, не удалось проанализировать основные разделы URL.
at sun.reflect.NativeConstructorAccessorImpl.newInstance0 (собственный метод)
at sun.reflect.NativeConstructorAccessorImpl.newInstance (NativeConstructorAccessorImpl.java:62)
at sun.reflect.DelegatingConstructorAccessorImpl.newInstance (DelegatingConstructorAccessorImpl.java:45)
в java.lang.reflect.Constructor.newInstance (Constructor.java:423)
в com.mysql.cj.core.exceptions.ExceptionFactory.createException (ExceptionFactory.java:54)
в com.mysql.cj.core.exceptions.ExceptionFactory.createException (ExceptionFactory.java:93)
... еще 33
Вызвано: com.mysql.cj.core.exceptions.WrongArgumentException: неверно сформированный URL базы данных, не удалось проанализировать основные разделы URL.
at sun.reflect.NativeConstructorAccessorImpl.newInstance0 (собственный метод)
at sun.reflect.NativeConstructorAccessorImpl.newInstance (NativeConstructorAccessorImpl.java:62)
at sun.reflect.DelegatingConstructorAccessorImpl.newInstance (DelegatingConstructorAccessorImpl.java:45)
в java.lang.reflect.Constructor.newInstance (Constructor.java:423)
в com.mysql.cj.core.exceptions.ExceptionFactory.createException (ExceptionFactory.java:54)
в com.mysql.cj.core.conf.url.ConnectionUrlParser.parseConnectionString (ConnectionUrlParser.java:134)
в com.mysql.cj.core.conf.url.ConnectionUrlParser. (ConnectionUrlParser.java:124)
в com.mysql.cj.core.conf.url.ConnectionUrlParser.parseConnectionString (ConnectionUrlParser.java:113)
в com.mysql.cj.core.conf.url.ConnectionUrl.getConnectionUrlInstance (ConnectionUrl.java:192)
на com.mysql.cj.jdbc.NonRegisteringDriver.connect (NonRegisteringDriver.java:194)
... еще 32
18/05/08 13:05:03 ОШИБКА mapreduce.PhoenixInputFormat: не удалось получить план запроса с ошибкой [Невозможно загрузить класс подключения из-за основного исключения: com.mysql.cj.core.exceptions.WrongArgumentException: неверно сформированный URL базы данных, ошибка разобрать основные разделы URL.]
Исключение в потоке "main" ,
в org.apache.phoenix.mapreduce.PhoenixInputFormat.getQueryPlan (PhoenixInputFormat.java:201)
в org.apache.phoenix.mapreduce.PhoenixInputFormat.getSplits (PhoenixInputFormat.java:87)
в org.apache.spark.rdd.NewHadoopRDD.getPartitions (NewHadoopRDD.scala: 125)
в org.apache.spark.rdd.RDD $$ anonfun $ partitions $ 2.apply (RDD.scala: 252)
в org.apache.spark.rdd.RDD $$ anonfun $ partitions $ 2.apply (RDD.scala: 250)
в scala.Option.getOrElse (Option.scala: 121)
в org.apache.spark.rdd.RDD.partitions (RDD.scala: 250)
в org.apache.spark.rdd.MapPartitionsRDD.getPartitions (MapPartitionsRDD.scala: 35)
в org.apache.spark.rdd.RDD $$ anonfun $ partitions $ 2.apply (RDD.scala: 252)
в org.apache.spark.rdd.RDD $$ anonfun $ partitions $ 2.apply (RDD.scala: 250)
в scala.Option.getOrElse (Option.scala: 121)
в org.apache.spark.rdd.RDD.partitions (RDD.scala: 250)
в org.apache.spark.SparkContext.runJob (SparkContext.scala: 2094)
в org.apache.spark.rdd.RDD.count (RDD.scala: 1158)
в org.apache.spark.api.java.JavaRDDLike $ class.count (JavaRDDLike.scala: 455)
в org.apache.spark.api.java.AbstractJavaRDDLike.count (JavaRDDLike.scala: 45)
в com.voicebase.etl.PhoenixToElasticSearch.main (PhoenixToElasticSearch.java:104)at sun.reflect.NativeMethodAccessorImpl.invoke0 (собственный метод)
at sun.reflect.NativeMethodAccessorImpl.invoke (NativeMethodAccessorImpl.java:62)
at sun.reflect.DelegatingMethodAccessorImpl.invoke (DelegatingMethodAccessorImpl.java:43)
в java.lang.reflect.Method.invoke (Method.java:498)
в org.apache.spark.deploy.SparkSubmit $ .org $ apache $ spark $ deploy $ SparkSubmit $$ runMain (SparkSubmit.scala: 775)
в org.apache.spark.deploy.SparkSubmit $ .doRunMain $ 1 (SparkSubmit.scala: 180)
в org.apache.spark.deploy.SparkSubmit $ .submit (SparkSubmit.scala: 205)
в org.apache.spark.deploy.SparkSubmit $ .main (SparkSubmit.scala: 119)
в org.apache.spark.deploy.SparkSubmit.main (SparkSubmit.scala)
Причина: java.sql.SQLNonTransientConnectionException: не удается загрузить класс подключения из-за основного исключения: com.mysql.cj.core.exceptions.WrongArgumentException: неверно сформированный URL базы данных, не удалось проанализировать основные разделы URL.
в com.mysql.cj.jdbc.exceptions.SQLError.createSQLException (SQLError.java:526)
в com.mysql.cj.jdbc.exceptions.SQLError.createSQLException (SQLError.java:513)
в com.mysql.cj.jdbc.exceptions.SQLError.createSQLException (SQLError.java:505)
в com.mysql.cj.jdbc.exceptions.SQLError.createSQLException (SQLError.java:479)
в com.mysql.cj.jdbc.exceptions.SQLError.createSQLException (SQLError.java:489)
в com.mysql.cj.jdbc.exceptions.SQLExceptionsMapping.translateException (SQLExceptionsMapping.java:72)
в com.mysql.cj.jdbc.exceptions.SQLExceptionsMapping.translateException (SQLExceptionsMapping.java:124)
на com.mysql.cj.jdbc.NonRegisteringDriver.connect (NonRegisteringDriver.java:224)
в java.sql.DriverManager.getConnection (DriverManager.java:664)
в java.sql.DriverManager.getConnection (DriverManager.java:208)
в org.apache.phoenix.mapreduce.util.ConnectionUtil.getConnection (ConnectionUtil.java:98)
в org.apache.phoenix.mapreduce.util.ConnectionUtil.getInputConnection (ConnectionUtil.java:57)
в org.apache.phoenix.mapreduce.PhoenixInputFormat.getQueryPlan (PhoenixInputFormat.java:176)
... еще 25
Причина: com.mysql.cj.core.exceptions.UnableToConnectException: не удается загрузить класс подключения из-за основного исключения: com.mysql.cj.core.exceptions.WrongArgumentException: неверно сформированный URL базы данных, не удалось проанализировать основные разделы URL.
at sun.reflect.NativeConstructorAccessorImpl.newInstance0 (собственный метод)
at sun.reflect.NativeConstructorAccessorImpl.newInstance (NativeConstructorAccessorImpl.java:62)
at sun.reflect.DelegatingConstructorAccessorImpl.newInstance (DelegatingConstructorAccessorImpl.java:45)
в java.lang.reflect.Constructor.newInstance (Constructor.java:423)
в com.mysql.cj.core.exceptions.ExceptionFactory.createException (ExceptionFactory.java:54)
в com.mysql.cj.core.exceptions.ExceptionFactory.createException (ExceptionFactory.java:93)
... еще 31
Вызвано: com.mysql.cj.core.exceptions.WrongArgumentException: неверно сформированный URL базы данных, не удалось проанализировать основные разделы URL.
at sun.reflect.NativeConstructorAccessorImpl.newInstance0 (собственный метод)
at sun.reflect.NativeConstructorAccessorImpl.newInstance (NativeConstructorAccessorImpl.java:62)
at sun.reflect.DelegatingConstructorAccessorImpl.newInstance (DelegatingConstructorAccessorImpl.java:45)
в java.lang.reflect.Constructor.newInstance (Constructor.java:423)
в com.mysql.cj.core.exceptions.ExceptionFactory.createException (ExceptionFactory.java:54)
в com.mysql.cj.core.conf.url.ConnectionUrlParser.parseConnectionString (ConnectionUrlParser.java:134)
в com.mysql.cj.core.conf.url.ConnectionUrlParser. (ConnectionUrlParser.java:124)
в com.mysql.cj.core.conf.url.ConnectionUrlParser.parseConnectionString (ConnectionUrlParser.java:113)
в com.mysql.cj.core.conf.url.ConnectionUrl.getConnectionUrlInstance (ConnectionUrl.java:192)at com.mysql.cj.jdbc.NonRegisteringDriver.connect (NonRegisteringDriver.java:194) ... еще 30 18/05/08 13:05:03 INFO spark.SparkContext: вызов остановки () из ловушки отключения 18/05 /08 13:05:03 INFO server.AbstractConnector: остановлена Spark @ 1a28be00 {HTTP / 1.1, [http / 1.1]} {0.0.0.0:4040} 18/05/08 13:05:03 INFO ui.SparkUI: остановлена Sparkвеб-интерфейс на http://10.16.129.152:4040 18/05/08 13:05:03 INFO cluster.YarnClientSchedulerBackend: прерывание потока монитора 18/05/08 13:05:03 INFO cluster.YarnClientSchedulerBackend: остановка всех исполнителей