Поддерживает ли Google Cloud Composer подключение к ресурсам AWS, таким как S3 и Redshift?

Question

Я планирую использовать Google Cloud Composer для планирования рабочего процесса, который загружает данные из S3 в Redshift. Поскольку S3 и Redshift основаны на AWS, я хочу знать, позволяет ли мне Google Cloud Composer это делать.

Насколько я понимаю после прочтения документа, я могу установить AWS SDK из PYPI и установить локальные зависимости Python, что означает, что я могу создать свою собственную библиотеку для S3Connection и RedshiftConnection, чтобы рабочий процесс работал. Кто-нибудь с опытом на это может помочь подтвердить это? Спасибо

Answer 1

Cloud Composer создан для поддержки гибридных и мульти-облачных сред, как уже упоминалось здесь .

Cloud Composer может использовать существующие операторы воздушного потока , которые включают оператор S3toRedshift , который использует S3 hook и postgres hook для Redshift

Cloud Composer также может использовать пользовательские плагины. Способ установки пользовательских плагинов в Cloud Composer описан в этой ссылке .