пакетное задание потока данных выполнения учетной записи службы

Question

Мне нужно выполнить задание потока данных, используя служебную учетную запись, я следую очень простому и базовому c примеру wordcount, предлагаемому на той же самой платформе.

Что странно, так это ошибка I ' m получение:

В соответствии с этим GCP требует, чтобы учетная запись службы имела разрешения в качестве рабочего потока данных для выполнения моей работы. Причудливая часть появляется, когда ошибка продолжает появляться, хотя я уже установил необходимые разрешения:

Может кто-нибудь объяснить это странное поведение? Большое спасибо

Answer 1

Чтобы запустить задание потока данных, проект должен включить биллинг и следующие API Google Cloud Platform:

• API потока данных Google Cloud
• API Compute Engine (Google Compute Engine)
• Google Cloud Logging API
• Google Cloud Storage
• Google Cloud Storage JSON API
• BigQuery API
• Google Cloud Pub / Sub
• API Google Cloud Datastore

У вас также должно быть достаточно квоты в проекте для любого из API, которые вы используете в задании потока данных.

Я бы хотел предлагаем вам создать учетную запись службы fre sh, имя которой ранее не использовалось, а затем предоставить roles/dataflow.worker этой новой учетной записи службы fre sh. Помните, что распространение Cloud IAM занимает менее 60 секунд, до 7 минут, поэтому, пожалуйста, выделите пару минут между изменением IAM и созданием задания Dataflow.

Другой возможный обходной путь - удаление разрешения работника Dataflow и добавь это снова. Разрешение остается после удаления учетной записи, указывая на ее старый идентификатор. Этот идентификатор нельзя обновлять до явного удаления роли.

Я рекомендую вам посетить Dataflow IAM ролей с описанием ролей и документацией по разрешениям.