Kubernetes spark-submit

Question

Я пытаюсь использовать kuberenets как менеджер кластера для spark. Я также хочу отправить журналы контейнеров на splunk. Теперь у меня есть стек мониторинга , развернутый (fluent-bit, prometheus et c) в том же пространстве имен, и способ, которым он работает, - если у вашего pod есть определенный environment_variable, он начнет читать логи и пу sh это до сплен . То, что я не могу найти, это как установить переменную окружения и заполнить ее

bin/spark-submit \
   --deploy-mode cluster \
   --class org.apache.spark.examples.SparkPi \
   --master k8s://https://my-kube-cluster.com \
   --conf spark.executor.instances=2 \
   --conf spark.app.name=spark-pi \
   ....
   ....
   ....
   --conf spark.kubernetes.driverEnv.UID="set it to spark driver pod id" \
   local:///opt/spark/examples/jars/spark-examples_2.11-2.4.4.jar

Answer 1

Чтобы настроить дополнительные переменные среды Spark Driver Pod, вы можете передать дополнительные --conf spark.kubernetes.driverEnv.EnvironmentVariableName=EnvironmentVariableValue (подробности см. docs ).

Чтобы настроить дополнительные переменные среды Spark Executor Pods, вы можете передать дополнительные --conf spark.executorEnv.EnvironmentVariableName=EnvironmentVariableValue (см. документы для более подробной информации).

Надеюсь, это поможет.