задание spark-submit не работает в режиме кластера - PullRequest
Новая
       11

задание spark-submit не работает в режиме кластера

0 голосов
/ 08 мая 2019

Я пытаюсь выполнить файл python, используя spark-submit в режиме кластера. Может ли кто-нибудь посоветовать мне, что мне нужно сделать, прежде чем сделать это как ошибку?

Я пробовал использовать мастер как пряжу, и без режима кластера он работает нормально.

test_cluster.py: 

from pyspark.sql import SparkSession
spark= 
SparkSession.builder().appName("test").master("yarn").getOrCreate()

выполнить команду: 

 spark-submit --master yarn --deploy-mode cluster test_cluster.py

журнал YARN:

Приложение application_1557254378595_0020 не удалось 2 раза из-за AM-контейнера для appattempt_1557254378595_0020_000002, завершенного с exitCode: 13 Неудачная попытка. Диагностика: [2019-05-07 22: 20: 22.422] Исключение из контейнера-запуска. Идентификатор контейнера: container_1557254378595_0020_02_000001 Код выхода: 13 [2019-05-07 22: 20: 22.424] Контейнер вышел с ненулевым кодом выхода 13. Ошибка файл: prelaunch.err. Последние 4096 байт prelaunch.err: Последние 4096 байты stderr: 19/05/07 22:20:21 ОШИБКА org.apache.spark.deploy.yarn.ApplicationMaster: Пользовательское приложение выход со статусом 1 19.05.07 22:20:21 ОШИБКА org.apache.spark.deploy.yarn.ApplicationMaster: необработанное исключение: org.apache.spark.SparkException: исключение, генерируемое в awaitResult: at org.apache.spark.util.ThreadUtils $ .awaitResult (ThreadUtils.scala: 205) в org.apache.spark.deploy.yarn.ApplicationMaster.runDriver (ApplicationMaster.scala: 498) в org.apache.spark.deploy.yarn.ApplicationMaster.org $ апаша $ искровым $ $ развернуть пряжи $ ApplicationMaster $$ runImpl (ApplicationMaster.scala: 345) в org.apache.spark.deploy.yarn.ApplicationMaster $$ anonfun $ запустить $ 2.Apply $ мкВ $ зр (ApplicationMaster.scala: 260) в org.apache.spark.deploy.yarn.ApplicationMaster $$ anonfun $ запустить $ 2.Apply (ApplicationMaster.scala: 260) в org.apache.spark.deploy.yarn.ApplicationMaster $$ anonfun $ запустить $ 2.Apply (ApplicationMaster.scala: 260) в org.apache.spark.deploy.yarn.ApplicationMaster $$ Анон $ 5.run (ApplicationMaster.scala: 815) в java.security.AccessController.doPrivileged (собственный метод) в javax.security.auth.Subject.doAs (Subject.java:422) в org.apache.hadoop.security.UserGroupInformation.doAs (UserGroupInformation.java:1893) в org.apache.spark.deploy.yarn.ApplicationMaster.doAsUser (ApplicationMaster.scala: 814) в org.apache.spark.deploy.yarn.ApplicationMaster.run (ApplicationMaster.scala: 259) в org.apache.spark.deploy.yarn.ApplicationMaster $ .main (ApplicationMaster.scala: 839) в org.apache.spark.deploy.yarn.ApplicationMaster.main (ApplicationMaster.scala) Вызывается: org.apache.spark.SparkUserAppException: пользовательское приложение выход с 1 в org.apache.spark.deploy.PythonRunner $ .main (PythonRunner.scala: 106) в org.apache.spark.deploy.PythonRunner.main (PythonRunner.scala) в sun.reflect.NativeMethodAccessorImpl.invoke0 (собственный метод) в sun.reflect.NativeMethodAccessorImpl.invoke (NativeMethodAccessorImpl.java:62) в sun.reflect.DelegatingMethodAccessorImpl.invoke (DelegatingMethodAccessorImpl.java:43) в java.lang.reflect.Method.invoke (Method.java:498) в org.apache.spark.deploy.yarn.ApplicationMaster $$ Анон $ 4.run (ApplicationMaster.scala: 721)

...