Чтение задания Cloud Dataflow из одного проекта BigQuery и запись в другой проект BigQuery

Question

Я выполняю задание Cloud Dataflow на GCP, которое должно иметь дело с 2 проектами GCP. И ввод, и вывод - это многораздельные таблицы Bigquery. Проблема, с которой я сейчас сталкиваюсь, заключается в том, что я должен прочитать данные из проекта A и записать их в проект B.

Я не видел ничего, связанного с учетными записями межпроектных служб, и я не могу передать Dataflow два другой ключ учетных данных, что немного раздражает? Я не знаю, проходил ли кто-нибудь еще через такую ​​архитектуру или как вы с этим справлялись.

Answer 1

Я думаю, вы можете выполнить sh это с помощью следующих шагов:

1. Создайте выделенную учетную запись службы в проекте, выполняющем задание Dataflow.
2. Предоставьте учетной записи службы Dataflow Worker и Пользователь задания BigQuery роли. Учетной записи службы могут потребоваться дополнительные роли в зависимости от полной потребности в ресурсах задания Dataflow.
3. В проекте A предоставьте учетной записи службы роль BigQuery Data Viewer либо для всего проекта, либо для укажите c наборы данных.
4. В проекте B предоставьте учетной записи службы роль BigQuery Data Editor либо для всего проекта, либо для c наборов данных.
5. При запуске задания потока данных переопределите параметр учетной записи службы , предоставляющий новую учетную запись службы.

Answer 2

Это очень просто. вам необходимо предоставить необходимое разрешение / доступ к своей учетной записи службы из обоих проектов.

Таким образом, вам нужна только учетная запись службы, которая имеет требуемый доступ / разрешение в обоих проектах

Надеюсь, это поможет.