У меня есть задание на потоковое воспроизведение, которое я пытаюсь представить оператором spark-k8. Я сохранил политику перезагрузки как всегда. Однако при ручном удалении драйвера драйвер не перезапускается. Мой ямл:
apiVersion: "sparkoperator.k8s.io/v1beta2"
kind: SparkApplication
metadata:
name: test-v2
namespace: default
spec:
type: Scala
mode: cluster
image: "com/test:v1.0"
imagePullPolicy: Never
mainClass: com.test.TestStreamingJob
mainApplicationFile: "local:///opt/spark-2.4.5/work-dir/target/scala-2.12/test-assembly-0.1.jar"
sparkVersion: "2.4.5"
restartPolicy:
type: Always
volumes:
- name: "test-volume"
hostPath:
path: "/tmp"
type: Directory
driver:
cores: 1
coreLimit: "1200m"
memory: "512m"
labels:
version: 2.4.5
serviceAccount: spark
volumeMounts:
- name: "test-volume"
mountPath: "/tmp"
terminationGracePeriodSeconds: 60
executor:
cores: 1
instances: 2
memory: "512m"
labels:
version: 2.4.5
volumeMounts:
- name: "test-volume"
mountPath: "/tmp"
Версия Spark: 2.4.5 apiVersion: "sparkoperator.k8s.io/v1beta2"
Шаги, за которыми я следовал:
Создать ресурс через kubectl применить -f examples / spark-test.yaml. Pod создан успешно. Удалите драйвер вручную.
Ожидаемое поведение: Новый модуль драйвера будет перезапущен в соответствии с политикой перезапуска.
Фактическое поведение: Драйвер и стручки исполнителя были удалены.
Среда: Проверка этого с помощью Docker На Ма c. С 4 процессорами и 8 ГБ памяти.
Журналы от оператора спарк-оператора {Ошибка модуля драйвера FAILING с кодом выхода: 143, причина: ошибка}