Как настроить автономный сервер spark-job-server, подключающийся к удаленному кластеру пряжи - PullRequest
Новая
       6

Как настроить автономный сервер spark-job-server, подключающийся к удаленному кластеру пряжи

0 голосов
/ 07 марта 2019

Я пытаюсь запустить сервер спарк-заданий на машине, которая подключается к удаленному кластеру пряжи.Я выполнил следующие шаги, указанные в ссылке: https://github.com/spark-jobserver/spark-jobserver/blob/master/doc/cluster.md

  • Я клонировал этот репозиторий git
  • Изменена конфигурация spark-jobserver-master \ job-server \ src \main \ resources \ application.conf
  • построен с использованием sbt и запустил сервер как: "job-server / reStart"

Ниже приведена измененная конфигурация application.conf 

spark {
  master = "yarn"
  submit.deployMode = "cluster"

  jobserver {
    port = 8090
    bind-address = "0.0.0.0"

    context-per-jvm = true
    sqldao{
      jdbc {
        url = "jdbc:h2:tcp://<yarnResournceManagerIP>:9092/h2-db;AUTO_RECONNECT=TRUE"
      }
    }
  }
}
actor {
  remote {
    netty.tcp {
      hostname = "yarnResournceManagerIP" [Ambari home page][1]
      #port = 0
      send-buffer-size = 20 MiB
      receive-buffer-size = 20 MiB
      # This controls the maximum message size, including job results, that can be sent
      maximum-frame-size = 100 MiB
    }
  }
}

Получение сообщения об ошибке при запуске сервера: 

[2019-03-07 20:08:52,338] INFO  ka.event.slf4j.Slf4jLogger [] [] - Slf4jLogger started
[2019-03-07 20:08:52,438] INFO  akka.remote.Remoting [] [akka.remote.Remoting] - Starting remoting
[2019-03-07 20:08:52,675] ERROR sport.netty.NettyTransport [] [NettyTransport(akka://JobServer)] - failed to bind to myclusterhostname/10.75.140.166:2552, shutting down Netty transport
[2019-03-07 20:08:52,689] ERROR spark.jobserver.JobServer$ [] [] - Unable to start Spark JobServer: 
org.jboss.netty.channel.ChannelException: Failed to bind to: myclusterhostname/10.75.140.166:2552

Caused by: java.net.BindException: Cannot assign requested address

Моя цель - запустить сервер spark-job за пределами моего кластера пряжи.Я что-то пропустил.

  • Нужно ли указывать порт для akka.remote.netty.tcp.port и какой он должен быть?
  • с использованием ip узла диспетчера ресурсов кластера Yarn в akka.remote.netty.tcp.hostname не так?если так то что должно быть?
...