Spark на DCOS: сделать диспетчер доступным вне кластера - PullRequest
Новая
       55

Spark на DCOS: сделать диспетчер доступным вне кластера

0 голосов
/ 15 ноября 2018

Мы установили службу Spark из каталога marathon в кластере DCOS.

Конфигурация json службы выглядит следующим образом: 

{
  "service": {
    "name": "spark",
    "cpus": 1,
    "mem": 1024,
    "role": "*",
    "service_account": "",
    "service_account_secret": "",
    "user": "root",
    "docker-image": "mesosphere/spark:2.3.1-2.2.1-2-hadoop-2.6",
    "log-level": "INFO",
    "spark-history-server-url": "http://internal-tfef5a-int-master-elb-1145533197.eu-east-1.elb.amazonaws.com/service/spark-history",
    "UCR_containerizer": false,
    "use_bootstrap_for_IP_detect": false
  },
  "hdfs": {
    "config-url": "http://api.hdfs.marathon.l4lb.thisdcos.directory/v1/endpoints"
  }
}

Учитывая, что пользовательский интерфейс marathon не позволяет напрямую редактировать сервисный порт, как правильно выставить диспетчер, чтобы можно было выполнить spark-submit со своей рабочей станции?

spark-mesos

1 Ответ

0 голосов
/ 15 ноября 2018

Вы должны запустить своего диспетчера за пограничным прокси.См. здесь , как это сделать.

Другой способ - запустить его на публичном агенте.Это можно сделать, установив acceptedResourceRoles":["slave_public"] см. здесь

...