HDP на облачной платформе Google - PullRequest
Новая
       47

HDP на облачной платформе Google

0 голосов
/ 24 сентября 2018

Я создал кластер dataproc с 6 кластерами узлов и столкнулся с проблемой ниже, когда я хочу установить bdutil: 

******************* gcloud compute stderr *******************
ERROR: (gcloud.compute.disks.create) Could not fetch resource:
 - Insufficient Permission
ERROR: (gcloud.compute.disks.create) Could not fetch resource:
 - Insufficient Permission
ERROR: (gcloud.compute.disks.create) Could not fetch resource:
 - Insufficient Permission
ERROR: (gcloud.compute.disks.create) Could not fetch resource:
 - Insufficient Permission
ERROR: (gcloud.compute.disks.create) Could not fetch resource:
 - Insufficient Permission
************ ERROR logs from gcloud compute stderr ************
ERROR: (gcloud.compute.disks.create) Could not fetch resource:
ERROR: (gcloud.compute.disks.create) Could not fetch resource:
ERROR: (gcloud.compute.disks.create) Could not fetch resource:
ERROR: (gcloud.compute.disks.create) Could not fetch resource:
ERROR: (gcloud.compute.disks.create) Could not fetch resource:
******************* Exit codes and VM logs *******************
Sun Sep 23 23:54:02 UTC 2018: Exited 1 : gcloud --project=hdpgcp-217320 --quiet --verbosity=info compute disks create --size=1500 --type=pd-standard hadoop-w-0-pd --zone=zone(
unset)
Sun Sep 23 23:54:02 UTC 2018: Exited 1 : gcloud --project=hdpgcp-217320 --quiet --verbosity=info compute disks create --size=1500 --type=pd-standard hadoop-w-1-pd --zone=zone(
unset)
Sun Sep 23 23:54:02 UTC 2018: Exited 1 : gcloud --project=hdpgcp-217320 --quiet --verbosity=info compute disks create --size=1500 --type=pd-standard hadoop-w-2-pd --zone=zone(
unset)
Sun Sep 23 23:54:02 UTC 2018: Exited 1 : gcloud --project=hdpgcp-217320 --quiet --verbosity=info compute disks create --size=1500 --type=pd-standard hadoop-w-3-pd --zone=zone(
unset)
Sun Sep 23 23:54:02 UTC 2018: Exited 1 : gcloud --project=hdpgcp-217320 --quiet --verbosity=info compute disks create --size=1500 --type=pd-standard hadoop-m-pd --zone=zone(un
set)

1 Ответ

0 голосов
/ 27 сентября 2018

HDP и Dataproc - это разные продукты.Я имею в виду, что вам не нужно создавать кластер Dataproc для выполнения bdutil.Достаточно выполнить его из одного экземпляра, потому что вся необходимая конфигурация установлена ​​в bdutil_env.sh/ambari.conf.Инструмент bdutil не создает кластер Dataproc, вместо этого создаются пользовательские экземпляры vm для размещения HDP.

Вот некоторые шаги, которые не очень хорошо документированы:

  1. Я установил переменную GOOGLE_APPLICATION_CREDENTIALS , и проблема с разрешением исчезла.Скорее всего, это проблема, с которой вы сталкиваетесь.1.1, если это не работает, выполните эту команду: gcloud auth activate-service-account --key-file=/PATH/JSON_CREDENTIALS

  2. Если другие ошибки появляются как «Недопустимая зона значений (unset)», просто установите их в bdutil_env.sh
    2.1 Если остаются те же самые ошибки, перейдите непосредственно к platform / hdp / ambari.conf для обновления вашей конфигурации.

  3. Вам потребуется настроить разрешающие правила брандмауэра для доступа к вашим экземплярам, ​​чтобы разрешитьсвязь между узлами и доступ к Ambari в мастере.

После выполнения описанных выше шагов я мог бы использовать Ambari для установки HDP.

...