gcloud dataproc заданий на отправку отправляет spark отправляет задания от имени пользователя root

Question

Я пытаюсь отправить задание spark с помощью «gcloud dataproc jobs submit spark», я установил spark.master в качестве пряжи. Когда задание выполняется в кластере dataproc, оно выполняется с использованием пользователя root. Есть ли способ запустить его с помощью пользователя Google, которого я аутентифицировал в gcloud, или установить в команде прокси-пользователя.

пример команды: -

 gcloud dataproc jobs submit spark \
    --cluster gov-demo --region europe-west4 \
    --class org.apache.spark.examples.WordCount \
    --jars gs://governance-demo/spark-examples-1.0.jar \
    -- gs://governance-demo/words1.txt 

Ожидается: -

задание, которое будет отправлено через пользователя Google / какой-либо способ предоставить прокси-пользователю

Факт: -

задание отправляется от имени пользователя root

.

Answer 1

Я искал команду gcloud dataproc, и у вас есть 2 флага, которые могут делать то, что вам нужно.

Например, у вас есть:

--account глобальный флаг gcloud. Подробнее здесь .

Учетная запись пользователя Google Cloud Platform для использования для вызова. Переопределяет значение свойства ядра / учетной записи по умолчанию для этого вызова команды.

или флаг --impersonate-service-account.

Для этого вызова gcloud все запросы API будут выполнены какуказанная учетная запись службы вместо текущей выбранной учетной записи. Это делается без необходимости создавать, загружать и активировать ключ для учетной записи. Чтобы выполнять операции в качестве учетной записи службы, выбранная в данный момент учетная запись должна иметь роль IAM, которая включает разрешение iam.serviceAccounts.getAccessToken для учетной записи службы. Роль role / iam.serviceAccountTokenCreator имеет это разрешение, или вы можете создать собственную роль. Переопределяет значение свойства auth / impersonate_service_account по умолчанию для этого вызова команды.

Дополнительная информация об использовании --impersonate-service-account, здесь .

Надеюсь, что этопомогает.