Я пытаюсь использовать Cloud Composer с длительным анализом функции DAG, который занимает около 5 минут.
Для каждого оператора я запрашиваю некоторые данные из службы API REST, но эта служба API требуетоколо секунды для каждой партии данных, которые мне нужно пройти.
Вместо того, чтобы иметь только 1 оператор, который просматривает все данные из моей службы API, я создаю несколько операторов для каждой части данных, чтобы я мог распараллелитьмоя задача.Анализ занимает много времени, и я столкнулся с ошибками [CRITICAL] WORKER TIMEOUT в Cloud Composer.
Существует ли переменная окружения, которая может увеличить работника Gunicorn в Cloud Composer?