Я следовал приведенным ниже инструкциям, за исключением мини-куба, я использовал кластер Google Cloud Platform Kubernetes: (Spark 2.3.2)
https://testdriven.io/blog/deploying-spark-on-kubernetes/
Когда я отправляю задания на спарк с:
./bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master spark://spark-master:7077 \
--executor-memory 471859200 \
--total-executor-cores 20 \
--deploy-mode cluster \
/opt/spark/examples/jars/spark-examples_2.11-2.3.2.jar \
10
или просто открываю оболочку Spark, используя:
/opt/spark/bin/spark-shell --master spark://spark-master:7077
sc.makeRDD(List(1,2,4,4)).count
Я продолжаю получать сообщения ниже ПРЕДУПРЕЖДЕНИЯ:
2020-04-18 21:14:38 WARN TaskSchedulerImpl:66 - Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources
2020-04-18 21:14:53 WARN TaskSchedulerImpl:66 - Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources
В пользовательском интерфейсе Spark я вижу все мои рабочие узлы, которыми легко управлять с помощью:
kubectl scale deployment spark-worker --replicas 2 (or any other number, works fine)
Я вижу новое работающее приложение в пользовательском интерфейсе Spark, которое поддерживает существующих исполнителей. Я видел это go до 309 исполнителей, затем я убиваю работу из Spark UI.
Локальный режим Успешно запускается:
/opt/spark/bin/spark-submit --class org.apache.spark.examples.SparkPi --master local[2] /opt/spark/examples/jars/spark-examples_2.11-2.3.2.jar 10
Я запускаю все свои искры, отправленные от Мастера Kubernetes стручок:
kubectl exec -it spark-master-dc7d76bf5-dthvn bash
Что я делаю не так? Пожалуйста, дайте мне знать, какие другие детали системы вы хотите от меня. Спасибо.
Редактировать: добавление скриншота Spark UI Исполнителей: 
Рабочий журнал: https://drive.google.com/file/d/1xU07m_OB1BEzJXyJ30WzvA5vcrpVmxYj/view?usp=sharing
Основной журнал: Искра на K8 Главный журнал