Команда отправки Spark (см. Пример команды в конце) работала с spark-sql_2.11-2.4.0-cdh6.2.0.jar, но когда я обновил версию до spark-sql_2.11-2.4.0-cdh6.2.1.jar перестал работать и завершился ошибкой с сообщением.
Команда:
spark-submit --class Spark_Src.class --deploy-mode client --jars /opt/json-simple-1.1.1.jar,/opt/test.jar --conf spark.yarn.maxAppAttempts=1 --conf spark.sql.shuffle.partitions=2000 --conf spark.network.timeout=800 --conf spark.driver.maxResultSize=1024 --conf spark.rpc.message.maxSize=1024 --conf spark.sql.broadcastTimeout=4800 --conf spark.executor.heartbeatInterval=30s --conf spark.dynamicAllocation.executorIdleTimeout=180 --conf spark.dynamicAllocation.enabled=true --conf spark.dynamicAllocation.minExecutors=30 --conf spark.dynamicAllocation.maxExecutors=500 --conf spark.default.parallelism=100 --files /etc/spark2/conf.cloudera.spark2_on_yarn/yarn-conf/hive-site.xml --conf spark.executor.extraJavaOptions=-Dlog4j.configuration=log4j.xml --conf spark.executor.extraJavaOptions=-XX:ParallelGCThreads=4 --conf spark.executor.extraJavaOptions=-XX:+UseParallelGC --conf hive.spark.client.connect.timeout=30000ms --conf hive.spark.client.server.connect.timeout=300000ms --files /opt/log4j.properties --conf "spark.executor.extraJavaOptions='-Dlog4j.configuration=log4j.properties'" --driver-java-options "-Dlog4j.configuration=file:/opt/configs/log4j.properties" /opt/Spark_Src.jar
Исключение:
31 октября 2019 г. 11:17:54 com.test.BigData $ SparkRunnable run INFO: Для выполнения Spark TraceИмя каталога / usr / bin / 31 октября 2019 11:17:54 com.test.BigData $ SparkRunnableзапустите INFO: для Spark Trace имя_каталога исполнения / usr / bin / 31 октября 2019 г. 11:17:54 com.test.BigData $ SparkRunnable запустите INFO: выходной журнал: предупреждение: игнорирование свойства конфигурации без искры: hive.spark.client.server.connect.timeout = 300000ms 31 октября 2019 11:17:54 com.test.BigData $ SparkRunnable run INFO: Выходной журнал: Предупреждение: игнорирование свойства конфигурации без искры: hive.spark.client.connect.timeout =30000ms, 31 октября 2019 г., 11:17:54 com.test.BigData $ SparkRunnable run INFO: Выходной журнал: Предупреждение: игнорирование не-sсвойство конфигурации парка: hive.spark.client.server.connect.timeout = 300000ms 31 октября 2019 11:17:54 com.test.BigData $ SparkRunnable run INFO: Выходной журнал: Предупреждение: игнорирование свойства конфигурации без искры: hive.spark.client.connect.timeout = 30000ms 31 октября 2019 11:17:56 com.test.BigData $ SparkRunnable run ИНФОРМАЦИЯ: Выходной журнал: 19/10/31 11:17:56 ОШИБКА SparkContext: Ошибкаинициализация SparkContext. 31 октября 2019 11:17:56 com.test.BigData $ SparkRunnable run INFO: Выходной журнал: org.apache.hadoop.security.KerberosAuthException: сбой при входе в систему: для принципала: Kunal@EXAMPLE.COM с использованием файла кэша билетов:ФАЙЛ: / tmp / krb5cc_112_Gk1EN6 javax.security.auth.login.LoginException: Невозможно получить пароль от пользователя 31 октября 2019 11:17:56 AM com.test.BigData $ SparkRunnable run INFO: Выходной журнал: 31 октября, 2019 11:17:56 com.test.BigData $ SparkRunnable run INFO: Выходной журнал: at org.apache.hadoop.security.UserGroupInformation.doSubjectLogin (UserGroupInformation.java:1992) 31 октября 2019 11:17:56com.test.BigData $ SparkRunnable run INFO: Выходной журнал: at org.apache.hadoop.security.UserGroupInformation.getUGIFromTicketCache (UserGroupInformation.java:649) 31 октября 2019 11:17:56 com.test.BigData $ SparkRunnable runИНФОРМАЦИЯ: Выходной журнал: at org.apache.spark.deploy.security.HadoopDelegationTokenManager.doLogin (HadoopDelegationTokenManager.scala: 276) 31 октября 2019 11:17:56 com.test.BigData $ SparkRunnaВся информация INF: Выходной журнал: at org.apache.spark.deploy.security.HadoopDelegationTokenManager.obtainDelegationTokens (HadoopDelegationTokenManager.scala: 140) 31 октября 2019 г. 11:17:56 com.test.BigData $ SparkRunnable run INFO:: at org.apache.spark.scheduler.cluster.CoarseGrainedSchedulerBackend $$ anonfun $ start $ 1.apply (CoarseGrainedSchedulerBackend.scala: 407) 31 октября 2019 11:17:56 com.test.BigData $ SparkRunnable run INFO:: at org.apache.spark.scheduler.cluster.CoarseGrainedSchedulerBackend $$ anonfun $ start $ 1.apply (CoarseGrainedSchedulerBackend.scala: 401) 31 октября 2019 11:17:56 com.test.BigData $ SparkRunnable run INFO:: at scala.Option.foreach (Option.scala: 257) 31 октября 2019 11:17:56 com.test.BigData $ SparkRunnable run INFO: Выходной журнал: в org.apache.spark.scheduler.cluster.CoarseGrainedSchedulerBackend. начало (CoarseGrainedSchedulerBackend.scala: 401) 31 октября 2019 г. 11:17:56 com.test.BigData $ SparkRunnable run INFO: Выходной журнал: at org.apache.spark.scheduler.cluster.YarnClientSchedulerBackend.start (YarnClientSchedulerBackend.scala: 46) 31 октября 2019 11:17:56 com.test.BigData $ SparkRunnable запустить INFO: Выходной журнал: at org.apache.spark.scheduler.TaskSchedulerl (TaskSchedulermp.scala: 184) 31 октября 2019 г. 11:17:56 com.test.BigData $ SparkRunnable run INFO: Выходной журнал: at org.apache.spark.SparkContext. (SparkContext.scala: 511) 31 октября 2019 г. 11:17:56 com.test.BigData $ SparkRunnable run INFO: Выходной журнал: at org.apache.spark.SparkContext $ .getOrCreate (SparkContext.scala: 2549) 31 октября 2019 11:17:56 com.test.BigData $ SparkRunnable запустите INFO: Выходной журнал: at org.apache.spark.sql. SparkSession $ Builder $$ anonfun $ 7.apply (SparkSession.scala: 944) 31 октября 2019 г. 11:17:56 com.test.BigData $ SparkRunnable run INFO: Выходной журнал: at org.apache.spark.sql.SparkSession $Builder $$ anonfun $ 7.apply (SparkSession.scala: 935) 31 октября 2019 11:17:56 com.test.BigData $ SparkRunnable run INFO: Выходной журнал: в scala.Option.getOrElse (Option.scala: 121)31 октября 2019 г. 11:17:56 com.test.BigData $ SparkRunnable run INFO: Выходной журнал: at org.apache.spark.sql.SparkSession $ Builder.getOrCreate (SparkSession.scala: 935) 31 октября 2019 г. 11:17:56 com.test.BigData $ SparkRunnable run INFO: выходной журнал: в Spark_Src.main (Spark_Src.java:104) 31 октября 2019 11:17:56 com.test.BigData $ SparkRunnable run INFO: выходной журнал: at sun.reflect.NativeMethodAccessorImpl.invoke0 (собственный метод) 31 октября 2019 г. 11:17:56 com.test.BigData $ SparkRunnable run ИНФОРМАЦИЯ: Выходной журнал: at sun.reflect.NativeMethodAccessorImpl.invoke (NativeMethodAccessorImpl.java:62) 31 октября 2019 11:17:56.invoke (DelegatingMethodAccessorImpl.java:43) 31 октября 2019 11:17:56 com.test.BigData $ SparkRunnable run INFO: Выходной журнал: at java.lang.reflect.Method.invoke (Method.java:498) Oct31, 2019 11:17:56 com.test.BigData $ SparkRunnable run INFO: Выходной журнал: at org.apache.spark.deploy.JavaMainApplication.start (SparkApplication.scala: 52) 31 октября 2019 11:17:56AM com.test.BigData $ SparkRunnable run INFO: Выходной журнал: at org.apache.spark.deploy.SparkSubmit.org $ apache $ spark $ deploy $ SparkSubmit $$ runMain (SparkSubmit.scala: 851) 31 октября 2019 г. 11:17:56 com.test.BigData $ SparkRunnable run INFO: Выходной журнал: at org.apache.spark.deploy.SparkSubmit.doRunMain $ 1 (SparkSubmit.scala: 167) 31 октября 2019 11:17:56 com.test.BigData $ SparkRunnable run INFO: Выходной журнал: at org.apache.spark.deploy.SparkSubmit.submit (SparkSubmit.scala: 195) 31 октября 2019 11:17:56 com.test.BigData $ SparkRunnable run INFO: Выходной журнал: в org.apache.spark.deploy.SparkSubmit.doSubmit (SparkSubmit. scala: 86) 31 октября 2019 г. 11:17:56 com.test.BigData $ SparkRunnable run INFO: Выходной журнал: в org.apache.spark.deploy.SparkSubmit $$ anon $ 2.doSubmit (SparkSubmit.scala: 926)31 октября 2019 11:17:56 com.test.BigData $ SparkRunnable run INFO: Выходной журнал: at org.apache.spark.deploy.SparkSubmit $ .main (SparkSubmit.scala: 935) 31 октября 2019 11:17: 56:00 com.test.BigData $ SparkRunnable run INFO: выходной журнал: at org.apache.spark.deploy.SparkSubmit.main (SparkSubmit.scala) 31 октября 2019 11:17:56 com.test.BigData $ SparkRunnableзапустите INFO: Выходной журнал: 19/10/31 11:17:56 ОШИБКА SparkContext: Ошибка инициализации SparkContext. 31 октября 2019 11:17:56 com.test.BigData $ SparkRunnable run INFO: Выходной журнал: org.apache.hadoop.security.KerberosAuthException: сбой при входе в систему: для участника: Kunal@EXAMPLE.COM с использованием файла кэша билетов:ФАЙЛ: / tmp / krb5cc_112_Gk1EN6 javax.security.auth.login.LoginException: невозможно получить пароль от пользователя 31 октября 2019 11:17:56 com.test.BigData $ SparkRunnable run