Я отправляю задания на искровой кластер в Dataproc (с помощью Hadoop Yarn). и я вижу, что независимо от того, какие свойства я установил для spark.master и mode-mode, при переходе к интерфейсу Spark на вкладке Environment задания всегда отображается local для spark.master,и на разных этапах работы всегда используется один и тот же идентификатор исполнителя, даже если есть место для большего.
например:
gcloud dataproc jobs submit spark --cluster mycluster --regionmyregion --class MyApp --properties 'spark.executor.extraJavaOptions=-verbose:class,,spark.master=yarn,spark.deploy-mode=cluster,spark.submit.deployMode=client,spark.executor.instances=2,spark.scheduler.mode=FIFO,spark.executor.cores=2,spark.dynamicAllocation.minExecutors=2'