Невозможно получить доступ к корзине AWS s3 из частного облака Google composer

Question

Я использую облако GCP composer (Airflow) для синхронизации файлов c s3 с ведром GCS. Когда я настраиваю publi c composer (publi c cluster), я могу запустить команду « gsutil ls s3: // bucket_name » и вывести список файлов в нем, но когда Я настраиваю частный кластер, у меня тайм-аут соединения для того же самого. Я могу перечислить содержимое ведер Google, но не могу подключиться к ведру s3 ... может кто-нибудь здесь помочь

Answer 1

Частные кластеры не имеют подключения к ресурсам вне кластера, вам нужно создать шлюз NAT и привязать его к вашему кластеру, что позволит вам получить доступ к ресурсам в других облаках, таких как S3 в AWS, или разрешить добавление вашего кластера в белый список других служб, обращенных к publi c.

Answer 2

Если GCP composer создал частный кластер GKE , этот кластер изначально изолирован от внешнего inte rnet.

У вас не должно быть доступа к ресурсам за пределами Google Cloud, таким как S3, изнутри кластера, как есть. Существуют варианты включения внешнего подключения, например, шлюз NAT.