Ошибка spark-submit в кластерном режиме с ошибкой 13, разрешение на выполнение задания pyspark отклонено - PullRequest
Новая
       71

Ошибка spark-submit в кластерном режиме с ошибкой 13, разрешение на выполнение задания pyspark отклонено

0 голосов
/ 11 июля 2020

Мы установили cloudera CDH 6.2 на машину RHEL 7, поставляемую по умолчанию python 2.7. Использование python 3.7 в виртуальной среде для создания искровых заданий pyspark. Клиентский режим с --master local и --deploy-mode client работает нормально. Но возникли проблемы с --master yarn и --deploy-mode cluster.

Эта команда spark-submit --master yarn --deploy-mode cluster --conf spark.yarn.appMasterEnv.PYSPARK_PYTHON=/home/user/R1_I5/bin/python --conf spark.yarn.appMasterEnv.SPARK_HOME=/opt/cloudera/parcels/CDH/lib/spark --conf spark.executorEnv.SPARK_HOME=/opt/cloudera/parcels/CDH/lib/spark sample.py не работает с ошибками менее 2

Случай 1 Журнал ошибок : --deploy-mode cluster

Cannot run program "/home/user/R1_I5/bin/python": error=13, Permission denied Подробный журнал: https://drive.google.com/file/d/1J7HLNGABnStJ91ISHFBMdNe5OLEUQZ6B/view

Случай 2 Журнал ошибок : --master yarn

Следующие две строки повторяются без завершения программы 

INFO yarn.Client: Application report for application_1594339922772_0012 (state: ACCEPTED)
INFO yarn.SparkRackResolver: Got an error when resolving hostNames. Falling back to /default-rack for all

1 Ответ

0 голосов
/ 12 июля 2020
  1. вам необходимо проверить права доступа к каталогу «hdfs: // dwh: 8020 / user //. SparkStaging / application_1594339922772_0011» и увидеть пользователя, с которым вы запускаете программу, имеет доступ к нему. правильный способ - создать каталог 'username' в 'hdfs: // dwh: 8020 / user / username и запустить через него.
  2. Проверьте имена хостов главной машины, проблема здесь в том, что он пытается для подключения к мастеру, который указан в конфигурации, но не может его найти. вы можете печатать. Go к диспетчеру Cloudera и пользователю возможность повторного развертывания конфигурации, также проверьте / etc / hosts и посмотрите, совпадает ли он с именами хостов, указанными в диспетчере Cloudera.
...