Исключение Spark при использовании режима развертывания Yarn и клиента - PullRequest
Новая
       13

Исключение Spark при использовании режима развертывания Yarn и клиента

0 голосов
/ 06 февраля 2019

У меня есть работающая настройка кластера Hadoop с поддержкой Yarn, и я создал отдельное приложение Java Spark в режиме клиента.Подходит кластер и все начинает инициализироваться.Однако, когда мастер приложений Yarn запускается на менеджере узлов Hadoop, я получаю следующее исключение для моего приложения: 

19/02/05 18:23:45 INFO yarn.ApplicationMaster: Driver now available: mydriver.host.com:32943
19/02/05 18:23:45 ERROR yarn.ApplicationMaster: Uncaught exception:
org.apache.spark.SparkException: Invalid Spark URL: spark://YarnScheduler@mydriver.host.com:32943
        at org.apache.spark.rpc.RpcEndpointAddress$.apply(RpcEndpointAddress.scala:66)
        at org.apache.spark.rpc.netty.NettyRpcEnv.asyncSetupEndpointRefByURI(NettyRpcEnv.scala:134)
        at org.apache.spark.rpc.RpcEnv.setupEndpointRefByURI(RpcEnv.scala:101)
        at org.apache.spark.rpc.RpcEnv.setupEndpointRef(RpcEnv.scala:109)
        at org.apache.spark.deploy.yarn.ApplicationMaster.createSchedulerRef(ApplicationMaster.scala:484)
        at org.apache.spark.deploy.yarn.ApplicationMaster.waitForSparkDriver(ApplicationMaster.scala:677)

Кажется, что оно пытается подключиться обратно к драйверу, но не можетк.mydriver.host.com:32943 представляет мой докер-контейнер в кластере и доступен из других контейнеров.Я нигде не смог найти в сети ничего, что могло бы пролить свет на понимание того, почему Спарк выбрасывает именно это исключение.

...