Журнал потока воздуха в ведре s3

Question

Хотелось бы записать логи воздушного потока на s3. Ниже приведены параметры, которые нам нужно установить в соответствии с do c -

remote_logging = True
remote_base_log_folder = 
remote_log_conn_id = 

Если в AWS работает Airflow, почему я должен передавать клавиши AWS? Разве API boto3 не может писать / читать в s3, если для роли IAM, прикрепленной к экземпляру, установлены правильные права доступа?

Answer 1

Справедливо, но я думаю, что это обеспечивает большую гибкость, если Airflow не работает на AWS или если вы хотите использовать указанный c набор учетных данных, а не предоставлять доступ ко всему экземпляру. Это также могло бы быть проще в реализации, поскольку базовый код для записи журналов в S3 использует S3Hook (https://github.com/apache/airflow/blob/1.10.9/airflow/utils/log/s3_task_handler.py#L47), для которого требуется идентификатор соединения.