cloud-sql-proxy для GCP Dataproc не работает, nc: не удается подключиться к локальному порту 3306 (tcp): соединение отказано

Question

Я использую Terraform для создания кластера dataproc, который использует экземпляр GCP cloudsql в качестве hivemetastore, проект terrafrm создает кластер и все его предпосылки (сеть, учетная запись службы, экземпляр cloudsql и пользователь и т. Д.).
cloud-sql-proxy.sh предоставляется, чтобы помочь с этим, однако я не могу заставить его работать, когда кластер создается cloud-sql-proxy.sh не удается с ошибкой:

nc: подключиться к localhostпорт 3306 (tcp) не удалось: соединение отклонено

Я ударился головой о стену, пытаясь понять, почему, но не могу докопаться до ее основания, поэтому надеюсь, что кто-то здесь может помочь.

Я разместил проект terraform на https://github.com/jamiekt/democratising-dataproc. Воспроизвести проблему очень просто, выполните следующие действия:

1. Установите terraform , если выеще не
2. Установите gcloud, если вы еще не
3. Создайте новый проект GCP
4. Включите Cloud Dataproc API для вашегоновый проект
5. gcloud auth application-default login #creates a file containing credentials that terraform will use
6. git clone git@github.com:jamiekt/democratising-dataproc.git && cd democratising-dataproc
7. export GCP_PROJECT=name-of-project-you-just-created
8. make init
9. make apply

Это должно успешно раскрутить сеть, подсеть, экземпляр cloudql, пару блоков хранения (одно из которых содержит cloud-sql-proxy.sh), учетную запись службы, брандмауэр, а затем произойдет сбой при попытке создатькластер dataproc.

если бы кто-нибудь мог взглянуть и сказать мне, почему это не помогло, я был бы очень благодарен.

Answer 1

Здесь был ряд проблем, которые теперь были решены:

• service_account_scopes необходимо указать и hive:hive.metastore.warehouse.dir свойство необходимо установить
• Terraform удаляет пользователя root по умолчанию из MySQL, поэтому он должен быть воссоздан.Мне не хватало (помимо прочего) атрибута хоста (host = '%')
• различных других вещей

Состояние репо на момент публикацииэто сообщение будет работать так, как задумано (т.е. создать, используя Terraform, кластер dataproc, использующий общее хранилище метаданных куста).

Спасибо @ igor-dvorzhak за ваши ответы, вашу ссылку на статью по настройкеHive Metastore для использования Cloud SQL поставил меня на правильный путь ..

Answer 2

Похоже, что вы не используете последнюю версию cloud-sql-proxy.sh в шаблоне cloud-sql-proxy.sh.tmpl (diff ).

Возможно, вы захотите обновить свой шаблон до последней версии скрипта из Dataproc Cloud SQL I / O и Hive Metastore действие инициализации.