Я новичок в платформе GCP и пытаюсь создать простой рабочий процесс Data Fusion для загрузки таблицы BigQuery из текстового файла, который находится в корзине GCS.
Рабочий процесс успешно развернут. Однако во время выполнения рабочего процесса на шаге 2 происходит сбой с сообщением об ошибке
Сбой задачи PROVISION в состоянии REQUESTING_CREATE для запуска программы
program_run: default.testing_df.-SNAPSHOT.workflow.DataPipelineWorkflow.5ff986e9-7241-11e9-af46-56bbe5c7844b
.
В подробном журнале ниже у нас есть разрешение "Required" compute.firewalls.list для оператора "projects / mylab-gcp"
Ниже приведен полный журнал ошибок при выполнении.
2019-05-09 10: 01: 13,945 - ОТЛАДКА
[provisioning-service-7: i.c.c.i.p.t.ProvisioningTask@121] - Выполнение
Подзадача PROVISION REQUESTING_CREATE для запуска программы
program_run: default.testing_df.-SNAPSHOT.workflow.DataPipelineWorkflow.5ff986e9-7241-11e9-af46-56bbe5c7844b.
2019-05-09 10: 01: 16,839 - ИНФОРМАЦИЯ
[provisioning-service-7: i.c.c.r.s.p.d.DataprocProvisioner@171] -
Создание кластера Dataproc
cdap-testingdf-5ff986e9-7241-11e9-af46-56bbe5c7844b с метками системы
{goog-datafusion-version = 6_0, cdap-version = 6_0_0-1555624816640,
goog-datafusion-edition = basic} 2019-05-09 10: 01: 17,162 - ОШИБКА
[Provisioning Service 7: i.c.c.i.p.t.ProvisioningTask@151] - ПРЕДОСТАВЛЕНИЕ
задача не выполнена в состоянии REQUESTING_CREATE для запуска программы
program_run: default.testing_df.-SNAPSHOT.workflow.DataPipelineWorkflow.5ff986e9-7241-11e9-af46-56bbe5c7844b.
com.google.api.client.googleapis.json.GoogleJsonResponseException: 403
Запрещено {"код": 403, "ошибки": [{
"домен": "глобальный",
"message": "Требуется разрешение 'compute.firewalls.list' для 'projects / mylab-gcp'",
"причина": "запрещен"}], "сообщение": "Требуется разрешение 'compute.firewalls.list' для 'projects / mylab-gcp'"} в
com.google.api.client.googleapis.json.GoogleJsonResponseException.from (GoogleJsonResponseException.java:146)
~ [na: na] в
com.google.api.client.googleapis.services.json.AbstractGoogleJsonClientRequest.newExceptionOnError (AbstractGoogleJsonClientRequest.java:113)
~ [na: na] в
com.google.api.client.googleapis.services.json.AbstractGoogleJsonClientRequest.newExceptionOnError (AbstractGoogleJsonClientRequest.java:40)
~ [na: na] в
com.google.api.client.googleapis.services.AbstractGoogleClientRequest $ 1.interceptResponse (AbstractGoogleClientRequest.java:321)
~ [na: na] в
com.google.api.client.http.HttpRequest.execute (HttpRequest.java:1065)
~ [na: na] в
com.google.api.client.googleapis.services.AbstractGoogleClientRequest.executeUnparsed (AbstractGoogleClientRequest.java:419)
~ [na: na] в
com.google.api.client.googleapis.services.AbstractGoogleClientRequest.executeUnparsed (AbstractGoogleClientRequest.java:352)
~ [na: na] в
com.google.api.client.googleapis.services.AbstractGoogleClientRequest.execute (AbstractGoogleClientRequest.java:469)
~ [na: na] в
io.cdap.cdap.runtime.spi.provisioner.dataproc.DataprocClient.getFirewallTargetTags (DataprocClient.java:310)
~ [na: na] в
io.cdap.cdap.runtime.spi.provisioner.dataproc.DataprocClient.createCluster (DataprocClient.java:155)
~ [na: na] в
io.cdap.cdap.runtime.spi.provisioner.dataproc.DataprocProvisioner.createCluster (DataprocProvisioner.java:172)
~ [na: na] в
io.cdap.cdap.internal.provision.task.ClusterCreateSubtask.execute (ClusterCreateSubtask.java:43)
~ [na: na] в
io.cdap.cdap.internal.provision.task.ProvisioningSubtask.execute (ProvisioningSubtask.java:54)
~ [na: na] в
io.cdap.cdap.internal.provision.task.ProvisioningTask.lambda $ executeOnce $ 0 (ProvisioningTask.java:123)
~ [na: na] в
io.cdap.cdap.common.service.Retries.callWithRetries (Retries.java:183)
~ [na: na] в
io.cdap.cdap.common.service.Retries.callWithInterruptibleRetries (Retries.java:257)
~ [na: na] вio.cdap.cdap.internal.provision.task.ProvisioningTask.executeOnce (ProvisioningTask.java:123)
~ [na: na] в
io.cdap.cdap.internal.provision.ProvisioningService.lambda $ обнулить $ 16 (ProvisioningService.java:559)
[na: na] в
io.cdap.cdap.internal.provision.ProvisioningService.callWithProgramLogging (ProvisioningService.java:772)
[na: na] в
io.cdap.cdap.internal.provision.ProvisioningService.lambda $ обнулить $ 17 (ProvisioningService.java:557)
[na: na] в
io.cdap.cdap.common.async.KeyedExecutor $ 2.run (KeyedExecutor.java:98)
~ [na: na] в
java.util.concurrent.Executors $ RunnableAdapter.call (Executors.java:511)
~ [na: 1.8.0_212] в
java.util.concurrent.FutureTask.run (FutureTask.java:266)
~ [na: 1.8.0_212] в
java.util.concurrent.ScheduledThreadPoolExecutor $ ScheduledFutureTask.access $ 201 (ScheduledThreadPoolExecutor.java:180)
~ [na: 1.8.0_212] в
java.util.concurrent.ScheduledThreadPoolExecutor $ ScheduledFutureTask.run (ScheduledThreadPoolExecutor.java:293)
~ [na: 1.8.0_212] в
java.util.concurrent.ThreadPoolExecutor.runWorker (ThreadPoolExecutor.java:1149)
~ [na: 1.8.0_212] в
java.util.concurrent.ThreadPoolExecutor $ Worker.run (ThreadPoolExecutor.java:624)
~ [na: 1.8.0_212] на java.lang.Thread.run (Thread.java:748)
~ [na: 1.8.0_212] 2019-05-09 10: 01: 17,180 - ОТЛАДКА
[provisioning-service-7: i.c.c.i.p.t.ProvisioningTask@159] - Прекращено
Задача PROVISION для запуска программы
program_run: default.testing_df.-SNAPSHOT.workflow.DataPipelineWorkflow.5ff986e9-7241-11e9-af46-56bbe5c7844b
из-за исключения.
Я вижу своего корневого пользователя консоли GCP вместе с учетной записью службы «mylab-bigquery@mylab-gcp.iam.gserviceaccount.com» в консоли IAM. В качестве владельца я назначил как учетную запись root, так и учетную запись службы, а также дополнительные роли в обеих учетных записях.
Администратор BigQuery
Администратор вычислительного экземпляра (v1)
Compute Network Admin
Compute OS Admin Login
Compute Security Admin
Cloud Data Fusion Admin
Сервисный агент API Cloud Data Fusion
Владелец
Тем не менее, после выполнения всех этих действий, я по-прежнему получаю то же сообщение об ошибке «Требуется» compute.firewalls.list «разрешение для« projects / mylab-gcp »