Я активно использую BigQueryOperator в своих группах DAG Airflow в Google Cloud Composer. Для более...
Определенно что-то упущено, и можно воспользоваться какой-нибудь быстрой помощью! Проще говоря, как...
Я прочитал обзор Cloud Composer (https://cloud.google.com/composer/) и документацию (https://cloud
Я хочу удалить группу DAG из интерфейса Airflow, которая больше не доступна в папке GCS/dags.Я знаю...
Я думал, что смогу использовать команду: g beta composer environments run <env>...
Регистрация информации о потоке воздуха - это слишком много, на мой вкус, так как мне изменить...
На данный момент я думаю о вызове команды bash pip install fabric2 каждый раз, когда мой оператор...
Я пытаюсь запустить базовый оператор больших запросов в Airflow (с помощью Google Composer),...
Учитывая, что GCP composer работает с GKE / GCE, это автоматическое масштабирование?Теперь у меня...
Чтобы отделить запросы BigQuery от фактического кода, я хочу сохранить SQL в отдельный файл, а...
Мне нужно иметь конвейер, который будет выполняться вручную или программно, возможно с Airflow
Я использую оператор bash, чтобы запланировать запуск контейнера на вычислительном экземпляре....
Как я могу запустить вычислительный экземпляр и развернуть на нем контейнер?Я вижу, что есть...
Я хочу автоматизировать развертывание групп DAG, написанных в определенном репозитории. Для этого я...