Как говорит Даганг, различные свойства Dataproc должны быть одинаково установлены на каждом узле кластера. Основные конфигурационные файлы, которые вы можете подать в каждом кластере, соответствуют spark:/core:/distcp:/hdfs:/mapred:/yarn: (в дополнение к другим для дополнительных дополнительных компонентов):
/etc/spark/conf/spark-defaults.conf
/etc/hadoop/conf/core-site.xml
/etc/hadoop/conf/distcp-default.xml
/etc/hadoop/conf/hdfs-site.xml
/etc/hadoop/conf/mapred-site.xml
/etc/hadoop/conf/yarn-site.xml
Другие файлы можно найти в похожих каталогах.