Нужно ли интересоваться деталями планировщика воздушного потока для Google Cloud Composer? - PullRequest
1 голос
/ 10 июля 2019

В планировщике воздушного потока есть такие вещи, как heartbeat и max_threads.
См. Как уменьшить задержку планирования потока воздуха при производстве? .

Если я использую Google Cloud Composer, нужно ли мне беспокоиться / устанавливать эти значения?
Если нет, какие значения использует Google Cloud Composer?

Ответы [ 2 ]

1 голос
/ 11 июля 2019

Конфигурацию воздушного потока можно увидеть в окне экземпляра композитора gs://composer_instance_bucket/airflow.cfg. Вы можете настроить эту конфигурацию по своему усмотрению, имея в виду, что облачный композитор заблокировал некоторые конфигурации . Также, если вы войдете в Airflow UI -> Admin -> Configuration, вы увидите полную конфигурацию.

0 голосов
/ 10 июля 2019

Если вы хотите больше контроля / видимости этих переменных, рассмотрите размещенный Airflow @ Astronomer https://www.astronomer.io/cloud/, поскольку он запускает Vanilla Airflow.

...