Похоже, проблема в том, что вы не указали префикс spark:
при установке свойства spark.submit.deployMode
при создании кластера.
В Datapro c, если вы устанавливаете свойства во время создания кластера, вам нужно добавьте к ним префикс к компоненту, для которого вы их устанавливаете, подробности см. в Datapro c документации по свойствам кластера .
Эта команда должна работать для создания кластера, в котором задания Spark будут отправляться в режим кластера:
CLUSTER_NAME=<cluster_name>
gcloud dataproc clusters create ${CLUSTER_NAME} \
--properties=spark:spark.submit.deployMode=cluster
Обратите внимание, что в режиме кластера Datapro c не сможет передавать выходные данные драйвера Spark в gcloud и Cloud Console.