Как запустить искровое задание в кластерном режиме в GCP?

Question

В GCP мы хотим запустить искровое задание в кластерном режиме для кластера данных [pro c. В настоящее время мы используем следующую команду: -

gcloud dataproc jobs submit spark --cluster xxxx-xxxx-dataproc-cluster01 --region us-west2 --xxx.xxxx.xxx.xxx.xxx.xxx.xxxx.xxxx --jars gs://xxx-xxxx-poc/cluster-compute/lib/xxxxxxxx-cluster-computation-jar-0.0.1-SNAPSHOT-allinone.jar --properties=spark:spark.submit.deployMode=cluster --properties=spark.driver.extraClassPath=/xxxx/xxxx/xxxx/ -- -c xxxxxxxx -a

Однако, используя вышеуказанное, задание передается в локальном режиме. Нам нужно работать в режиме кластера.

Answer 1

Вы можете запустить его в режиме кластера, указав следующее --properties spark.submit.deployMode=cluster

В вашем примере deployMode не выглядит корректно.

--properties=spark:spark.submit.deployMode=cluster 

Похоже, spark: является дополнительным .

Вот вся команда для отправки задания

gcloud dataproc jobs submit pyspark --cluster XXXXX --region us-central1 --properties="spark.submit.deployMode=cluster" gs://dataproc-examples/pyspark/hello-world/hello-world.py

Ниже приведен скриншот задания, работающего в режиме кластера

Обновление

Чтобы передать несколько свойств ниже, datapro c отправка задания

gcloud dataproc jobs submit pyspark --cluster cluster-e0a0 --region us-central1 --properties="spark.submit.deployMode=cluster","spark.driver.extraClassPath=/xxxxxx/configuration/cluster-mode/" gs://dataproc-examples/pyspark/hello-world/hello-world.py

При запуске задания ниже приведен скриншот, который показывает, что deployMode is Cluster и дополнительный путь к классу также установлен

Answer 2

Если вы хотите запустить искровое задание через облачную оболочку, используйте следующую команду

gcloud dataproc jobs submit spark --cluster cluster-test

- класс org. apache .spark.examples.xxxx --jars file: /// usr / lib /spark/exampleas/jars/spark-examples.jar --1000