cloud-sql-proxy для GCP Dataproc не работает, nc: не удается подключиться к локальному порту 3306 (tcp): соединение отказано - PullRequest
Новая
       31

cloud-sql-proxy для GCP Dataproc не работает, nc: не удается подключиться к локальному порту 3306 (tcp): соединение отказано

0 голосов
/ 03 марта 2019

Я использую Terraform для создания кластера dataproc, который использует экземпляр GCP cloudsql в качестве hivemetastore, проект terrafrm создает кластер и все его предпосылки (сеть, учетная запись службы, экземпляр cloudsql и пользователь и т. Д.).
cloud-sql-proxy.sh предоставляется, чтобы помочь с этим, однако я не могу заставить его работать, когда кластер создается cloud-sql-proxy.sh не удается с ошибкой:

nc: подключиться к localhostпорт 3306 (tcp) не удалось: соединение отклонено

Я ударился головой о стену, пытаясь понять, почему, но не могу докопаться до ее основания, поэтому надеюсь, что кто-то здесь может помочь.

Я разместил проект terraform на https://github.com/jamiekt/democratising-dataproc. Воспроизвести проблему очень просто, выполните следующие действия:

  1. Установите terraform , если выеще не
  2. Установите gcloud, если вы еще не
  3. Создайте новый проект GCP
  4. Включите Cloud Dataproc API для вашегоновый проект
  5. gcloud auth application-default login #creates a file containing credentials that terraform will use
  6. git clone git@github.com:jamiekt/democratising-dataproc.git && cd democratising-dataproc
  7. export GCP_PROJECT=name-of-project-you-just-created
  8. make init
  9. make apply

Это должно успешно раскрутить сеть, подсеть, экземпляр cloudql, пару блоков хранения (одно из которых содержит cloud-sql-proxy.sh), учетную запись службы, брандмауэр, а затем произойдет сбой при попытке создатькластер dataproc.

если бы кто-нибудь мог взглянуть и сказать мне, почему это не помогло, я был бы очень благодарен.

Ответы [ 2 ]

0 голосов
/ 06 марта 2019

Здесь был ряд проблем, которые теперь были решены:

Состояние репо на момент публикацииэто сообщение будет работать так, как задумано (т.е. создать, используя Terraform, кластер dataproc, использующий общее хранилище метаданных куста).

Спасибо @ igor-dvorzhak за ваши ответы, вашу ссылку на статью по настройкеHive Metastore для использования Cloud SQL поставил меня на правильный путь ..

0 голосов
/ 03 марта 2019

Похоже, что вы не используете последнюю версию cloud-sql-proxy.sh в шаблоне cloud-sql-proxy.sh.tmpl (diff ).

Возможно, вы захотите обновить свой шаблон до последней версии скрипта из Dataproc Cloud SQL I / O и Hive Metastore действие инициализации.

...