Авто вход с контуром

Question

Я использую k8s для развертывания spark, вызванного с помощью spark-submit. Мы используем contour как наш ingress-class. Мне было интересно, есть ли способ создать ingress объект для spark-driver контейнера, чтобы выставить Spark UI . Я пытаюсь понять, можно ли все это сделать за один шаг, используя annotations или labels. Что-то вроде hxquangnhat / kubernetes-auto-ingres s, который использует annotation для включения ingress

Все, что я хочу сделать, это использовать spark-submit для отправки spark работу и получить Saprk UI выставлены. Может быть, создайте ingress, используя --conf как

--conf spark.kubernetes.driver.annotation.prometheus.io/scrape=true \
--conf spark.kubernetes.executor.annotation.prometheus.io/scrape=true \
--conf spark.kubernetes.driver.annotation.prometheus.io/port=XXXXX \
--conf spark.kubernetes.executor.annotation.prometheus.io/port=XXXXX \

Пожалуйста, дайте мне знать, если у вас есть какие-либо мысли или вы видели некоторые примеры, подобные этому.

Answer 1

Вы можете просто создать Ingress сразу после отправки Spark Driver. Просто предоставьте скрипт на языке по вашему выбору с клиентской библиотекой Kubernetes.

Чтобы настроить автоматическое удаление c Ingress / G C при удалении Spark Driver Pod, вы можете использовать Kubernetes OwnerReference в Spark Driver Pod.

Также вы можете обратиться к проекту Apache Livy Spark на поддержку Kubernetes PR и связанным с ним Хелм-репо , который Предложите способ решения проблемы пользовательского интерфейса Spark, а также некоторые другие аспекты работы Spark в Kubernetes.