Как отправить задание искру, обнаруженную при входе в кубернетах, работающих на docker настольном компьютере для Mac - PullRequest
Новая
       72

Как отправить задание искру, обнаруженную при входе в кубернетах, работающих на docker настольном компьютере для Mac

0 голосов
/ 11 июля 2020

Итак, у меня есть локальный кластер Kubernetes. У меня есть мастер и рабочий деплой для Spark. Еще у меня есть сервис для искры. Кроме этого, у меня настроен контроллер nginx. Затем я сделал настройку входа, например 

apiVersion: extensions/v1beta1
kind: Ingress
metadata:
  name: spark-ingress
  annotations:
    kubernetes.io/ingress.class: "nginx"
spec:
  rules:
    - host: localhost
      http:
        paths:
          - path: /submit
            backend:
              serviceName: spark-master
              servicePort: 7077
          - path: /web-ui
            backend:
              serviceName: spark-master
              servicePort: 8080

. Теперь я могу получить доступ к пользовательскому интерфейсу искры с localhost / web-ui. Но когда я использую следующую команду отправки 

spark-submit \
  --master spark://localhost/submit \
  --class data_transformer.Transformer \
   ./target/scala-2.12/Spark-On-Kubernetes-assembly-0.1.jar data/test.csv data/output.csv

Отправка не выполняется со следующей ошибкой org. apache .spark.SparkException: недопустимый главный URL-адрес: spark: // localhost / submit

Может ли кто-нибудь помочь с тем, как отправить искру, открытую через вход? Я знаю альтернативу использованию порта узла, но я бы предпочел входной путь. Заранее спасибо.

...