Как подключить Airflow к AWS S3 без секретных ключей? - PullRequest
0 голосов
/ 12 сентября 2018

Я хочу подключить Airflow к S3 и иметь возможность получать данные из корзины. Однако единственное руководство о том, как это сделать, использует AWS Secret Access Key. Я не хочу их использовать. Поэтому я хотел бы спросить, поддерживает ли Airflow какой-либо другой способ подключения к S3?

1 Ответ

0 голосов
/ 22 января 2019

Если вы запускаете Airflow на машине EC2 или в контейнерах ECS, вы можете воспользоваться профилем экземпляра EC2. Таким образом, вам не нужно настраивать какие-либо учетные данные, и любой запрос boto3 будет использовать разрешения аутентификации, предоставленные профилем экземпляра. Со стороны Airflow вы можете просто использовать aws_default по умолчанию и установить регион только в дополнительном разделе.

...