Я пытаюсь передать конкретную учетную запись службы Dag для задачи облачного композитора DataprocClusterCreateOperator. Я не могу установить учетную запись службы при добавлении имени учетной записи службы (в виде строки) в поле service_account в dag, а учетная запись службы имеет роль datprocAdministrator. Получение ошибки «Не авторизовано для запрошенного ресурса».
dag
По-прежнему отображается сообщение об ошибке ниже:
возвращено «Не авторизовано для запрошенного ресурса. "
-------------- LOG --------------
[2019-10-25 09:05: 14,965] {base_task_runner.py:101} INFO - Задание 49: подзадача create_dataproc_cluster [2019-10-25 09: 05: 14,964] {models.py:558} ИНФОРМАЦИЯ - Заполнение DagBag из / home / airflow / gcs/dags/temp_rahul_f.py [2019-10-25 09: 05: 15,802] {base_task_runner.py:101} INFO - Задание 49: подзадача create_dataproc_cluster [2019-10-25 09: 05: 15,801] {cli.py:520} INFO - Работа на хосте airflow-worker-554db5655d-dsdvp [2019-10-25 09: 05: 15,920] {base_task_runner.py:101} INFO - Задание 49: Подзадача create_dataproc_cluster [2019-10-25 09: 05: 15,918] {dataproc_operator.py:404} ИНФОРМАЦИЯ - Создание кластера: composer-pyspark-cluster-demo-20191024 [2019-10-25 09: 05: 15,968] {base_task_runner.py:101} ИНФОРМАЦИЯ - Задание 49: подзадача create_dataproc_cluster [2019-10-25 09: 05: 15,968] {gcp_api_base_hook.py:94} INFO - Получение соединения с использованием google.auth.default(), поскольку для ловушки не определен ключевой файл. [2019-10-25 09: 05: 16,002] {base_task_runner.py:101} INFO - Задание 49: подзадача create_dataproc_cluster [2019-10-25 09: 05: 16,002] {discovery.py:272} INFO - запрашивается URL: GET https://www.googleapis.com/discovery/v1/apis/dataproc/v1beta2/rest [2019-10-25 09: 05: 16,156] {base_task_runner.py:101} INFO - Задание 49: подзадача create_dataproc_cluster [2019-10-25 09: 05: 16,156] {discovery.py: 873} INFO - запрашиваемый URL: GET https://dataproc.googleapis.com/v1beta2/projects/the-text-255813/regions/us-central1/clusters?alt=json [2019-10-25 09: 05: 16,441] {base_task_runner.py:101} INFO - Задание 49: подзадача create_dataproc_cluster [2019-10-25 09:05: 16,440] {http.py:121} ПРЕДУПРЕЖДЕНИЕ - Обнаружено 403 Запрещено по причине "запрещено" [2019-10-25 09: 05: 16,442] {models.py:1846} ОШИБКА - https://dataproc.googleapis.com/v1beta2/projects/the-text-255813/regions/us-central1/clusters?alt=json возвращено "Не авторизовано длязапрашиваемый ресурс. "> Файл трассировки (последний вызов был последним) Файл" /usr/local/lib/airflow/airflow/models.py ", строка 1714, в _run_raw_tas result = task_copy.execute (context = context File" / usr / local/lib/airflow/airflow/contrib/operators/dataproc_operator.py ", строка 411, в исполнении, если файл self._get_cluster (service)" "/ usr / local / lib / airflow / airflow / contrib / operator / dataproc_operator.py ", строка 230, в _get_cluste cluster_list = self._get_cluster_list_for_project (служебный файл" /usr/local/lib/airflow/airflow/contrib/operators/dataproc_operator.py ", строка 225, for_for__for__for__for__for__for__for_for__for__for__for__for__for__for__for__for__for__for__for__for__for__for__for__for__for__for__for__for__for__for__for__t___t_t_t_c_region = self.regio Файл "/opt/python3.6/lib/python3.6/site-packages/googleapiclient/_helpers.py", строка 130, в возвращении positional_wrappe упакован (* args, ** файл kwargs "/ opt /python3.6 / lib / python3.6 / site-packages / googleapiclient / http.py ", строка 851, в ходе выполнения вызывает HttpError (соответственно, content, uri = self.uri