Когда я использую spark-on-operator для отправки искровой задачи, возникает ошибка. Я использую kubectl apply -f examples/spark-pi.yaml для отправки задания, но оно не удалось. А у меня версия spark 2.4.4, а версия spark-on-operator v1beta2-1.0.1-2.4.4. Вот сообщения:
spark-operator failed to submit SparkApplication spark-pi: failed to run spark-submit for SparkApplication default/spark-pi: Exception in thread "main" java.lang.NoClassDefFoundError: io/fabric8/kubernetes/client/Watcher.
После этого я попытался изменить Dockerfile, добавить kubernetes-client-4.1.2.jar в файл yaml и заново создать образ docker. Но сообщение об ошибке то же самое. Мой Dockerfile:
ARG spark_image=gcr.io/spark-operator/spark:v2.4.4
FROM $spark_image
RUN mkdir -p /opt/spark/jars
ADD https://repo1.maven.org/maven2/io/fabric8/kubernetes-
client/4.1.2/kubernetes-client-4.1.2.jar /opt/spark/jars
ENV SPARK_HOME /opt/spark
WORKDIR /opt/spark/work-dir
ENTRYPOINT [ "/opt/entrypoint.sh" ]
Любой, кто поможет, оценит