Поток данных GCP При обновлении учетных данных возникла проблема.

Question

Я пытаюсь создать поток данных в Java с Gradle. Я создал задачу gradle для загрузки работы в GCP через DataflowRunner и установки своих учетных данных через environment "GOOGLE_APPLICATION_CREDENTIALS", "....json", но когда я просматриваю работу, я вижу только:

Workflow failed. Causes: There was a problem refreshing your credentials. Please check: 
1. Dataflow API is enabled for your project. 
2. There is a robot service account for your project: 
service-[project number]@dataflow-service-producer-prod.iam.gserviceaccount.com 
should have access to your project. 
If this account does not appear in the permissions tab for your project, contact Dataflow support.

I ' мы уже убедились, что API потока данных включен для моего проекта и что учетная запись службы существует и имеет роли editor и Cloud Dataflow Service Agent. Я протестировал мой код и пример кода на странице getting started, та же проблема.

Answer 1

Эта проблема может быть вызвана, если учетная запись службы Compute Engine по умолчанию в проекте rGoogle CLooud отключена:

В статусе должна отображаться зеленая галочка.

Answer 2

Когда вы впервые используете Dataflow в новом проекте GCP, вам нужно включить API (шаг 3 в быстром запуске), это может занять несколько минут. На этом шаге создается несколько учетных записей служб :

учетных записей службы облачных потоков данных: service-<project-number>@dataflow-service-producer-prod.iam.gserviceaccount.com.

учетная запись службы контроллера : <project-number>-compute@developer.gserviceaccount.com.

Первый аккаунт является ошибочным. Я бы подумал, что вы не включили API потока данных или выполнили задание во время включения API. Как вы упомянули, вы проверили это, следующий шаг проверяет, были ли изменены учетные записи службы по умолчанию, скажем, они были воссозданы или изменены разрешения по умолчанию. Эти изменения также применяются к учетной записи службы контроллера.

Кроме того, не забудьте назначить надлежащие разрешения учетной записи, которая выполняет задание потока данных.

ОБНОВЛЕНИЕ:

Если проблема не устранена, вероятно, что учетные записи служб были каким-то образом повреждены, и в этом случае рекомендуется создать новый проект GCP с бесплатными sh учетными записями служб. или Обратитесь в службу поддержки Cloud .