Google Cloud Composer и Google Cloud SQL Proxy

Question

У меня есть проект с Cloud Composer и Cloud SQL.Я могу подключиться к Cloud SQL, потому что я отредактировал пакет airflow-sqlproxy-service и добавил свой экземпляр Cloud SQL на облачном прокси-сервере, используемом для airflow-db, сопоставляя его с портом 3307.

Работники могут подключатьсяк airflow-sqlproxy-service через порт 3307, но я думаю, что веб-сервер не может подключиться к этому.

Нужно ли добавить какое-либо правило брандмауэра для сопоставления порта 3307, чтобы веб-сервер или пользовательский интерфейс могли подключаться к airflow-sqlproxy-service?

https://i.stack.imgur.com/LwKQK.png

https://i.stack.imgur.com/CJf7Q.png

https://i.stack.imgur.com/oC2dJ.png

С уважением.

Answer 1

Composer в настоящее время не поддерживает настройку дополнительных SQL-прокси с веб-сервера.Одним из обходных путей для подобных случаев является создание отдельной группы обеспечения доступности баз данных, которая загружает переменные воздушного потока с информацией, необходимой из другой базы данных (через рабочих, которые имеют доступ do ), а затем генерирует группу доступности базы данных на основе переменной, которуювеб-сервер может получить доступ к.

https://github.com/apache/incubator-airflow/pull/4170, который недавно был объединен (в настоящее время недоступен в Composer), что определяет тип подключения CloudSQL.Это может работать для этих вариантов использования в будущем.