Использование команды ниже для развертывания приложения spark (по умолчанию от оператора spark).
kubectl apply -f spark/template/spark-application.yaml
использовалось для создания приложения spark
Добавлены следующие значения вместе с память и ядро для запуска от имени пользователя 1000, но драйвер и исполнитель порога работают под root пользователем. отсюда добавлен контекст безопасности
spec:
driver:
securityContext:
runAsUser: 1000
executor:
securityContext:
runAsUser: 1000
служба веб-перехвата работает в spark-operator
Пространство имен.
kubectl get service -n spark-operator
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE
spark-driver-metrics ClusterIP 172.20.134.198 <none> 8090/TCP 5h50m
spark-executor-metrics ClusterIP 172.20.91.165 <none> 8090/TCP 5h50m
spark-stream-1579262191507-driver-svc ClusterIP None <none> 7078/TCP,7079/TCP 20m
spark-stream-ui-svc NodePort 172.20.57.54 <none> 4040:31337/TCP 20m
spark-webhook ClusterIP 172.20.123.24 <none> 443/TCP 5h50m
подробности секретов:
kubectl get secrets -n spark-operator
NAME TYPE DATA AGE
default-token-2fgv7 kubernetes.io/service-account-token 3 6h13m
spark-token-74b8n kubernetes.io/service-account-token 3 6h13m
spark-webhook-certs Opaque
4 6h11m
любая помощь приветствуется.