Я пытаюсь загрузить данные из таблицы Postgres в S3 с помощью Airflow, оператор PostgresToS3 работает для всех таблиц, кроме одной, которая является очень большой таблицей. Задача выполняется в течение некоторого времени ~ 800 с, а затем останавливается без каких-либо журналов. Это происходит потому, что соединение закрывается после некоторого периода ожидания. Я пытался сделать cursor.execute("SET statement_timeout = 0") до cursor.execute(self.sql) Можно ли как-нибудь это исправить?
https://airflow.apache.org/docs/stable/_modules/airflow/hooks/postgres_hook.html