Как получить доступ к потоку воздуха с помощью kubectl на Google-Cluoud-Composer и Airflow 1,10

Question

Я использую GCP Composer для управления Apache в GCP.

Для нового проекта я использую новую версию Composer / Airflow (композитор: 1.6.1, Airflow: 1.10)

Для подключения при потоке воздуха через оболочку для проверки неисправного DAG документация GCP говорит:

1. открытая оболочка GCP

2. Подключение к кластеру GKE

3. myuser @ cloudshell: ~ kubectl get pods

4. myuser @ cloudshell: ~ kubectl exec -it airflow-worker- 1a2b3c - xyz12 -c рабочий поток воздуха - / bin / bash

Это нормально работает с Airflow 1.9, но на Airflow 1.10 kubectl get pods не показывает рабочий модуль, и я не нашел документации о том, как получить доступ к воздушному потоку через kubeclt на AF 1.10

Кто-то может мне помочь?

_myuser_@cloudshell:~ (_Myproject_)$ kubectl get pods 
NAME                                                        READY     STATUS      RESTARTS   AGE
airflow-monitoring-564c8c7dc5-hxb62                         1/1       Running     0          17h
airflow-redis-0                                             1/1       Running     0          17h
airflow-sqlproxy-594dbf87b7-nmtbh                           1/1       Running     0          17h
composer-agent-1a871e5e-fa97-4fa3-8843-d0b06718f7f6-rb4rj   0/1       Completed   0          12h
composer-agent-41ee85f8-90f2-45a1-a148-883421775651-jfjz6   0/1       Completed   0          12h
composer-agent-6984c0ef-4a0b-4150-bc6e-8a2996a5c38f-sd45f   0/1       Completed   0          17h
composer-agent-97de1623-5772-496d-a0c0-54adefc00c5a-rq9w6   0/1       Completed   0          12h
composer-agent-b3bc0dc6-6e95-4c9c-91d0-735755c2210f-tcxgg   0/1       Completed   0          73m
composer-fluentd-daemon-bkn28                               1/1       Running     133        17h
composer-fluentd-daemon-jvdlc                               1/1       Running     133        17h
composer-fluentd-daemon-lchq9                               1/1       Running     133        17h
composer-fluentd-daemon-wfzzr                               1/1       Running     133        17h

Answer 1

Для обеспечения возможности обновления версий на месте Cloud Composer теперь запускает модули, специфичные для версии (рабочий и планировщик), в пространстве имен не по умолчанию, которое названо в честь запущенных версий.Например, это может выглядеть следующим образом:

$ kubectl get ns | grep composer  # ns = namespaces
composer-1-6-1-airflow-1-10-1-04c210ec   Active   2d

Затем вы можете искать ресурсы кластера именно в этом пространстве имен:

$ kubectl get pods --namespace=composer-1-6-1-airflow-1-10-1-04c210ec
NAME                                 READY   STATUS      RESTARTS   AGE
airflow-database-init-job-mhn87      0/1     Completed   0          2d
airflow-scheduler-748ff8dc88-g2k5q   2/2     Running     0          2d
airflow-worker-5767579d-csvcg        2/2     Running     0          2d
airflow-worker-5767579d-d8fgd        2/2     Running     0          2d
airflow-worker-5767579d-tlwpc        2/2     Running     0          2d

Если удобнее, вы можете также перечислить ресурсыв всех пространствах имен:

$ kubectl get pods --all-namespaces  # or -A

$ kubectl get pods -A | grep airflow
composer-1-6-1-airflow-1-10-1-04c210ec   airflow-database-init-job-mhn87                                  0/1     Completed   0          2d
composer-1-6-1-airflow-1-10-1-04c210ec   airflow-scheduler-748ff8dc88-g2k5q                               2/2     Running     0          2d
composer-1-6-1-airflow-1-10-1-04c210ec   airflow-worker-5767579d-csvcg                                    2/2     Running     0          2d
composer-1-6-1-airflow-1-10-1-04c210ec   airflow-worker-5767579d-d8fgd                                    2/2     Running     0          2d
composer-1-6-1-airflow-1-10-1-04c210ec   airflow-worker-5767579d-tlwpc                                    2/2     Running     0          2d
default                                  airflow-monitoring-f78cd5c75-2n727                               1/1     Running     0          2d
default                                  airflow-redis-0                                                  1/1     Running     0          2d
default                                  airflow-sqlproxy-57b7976d59-qnkm7                                1/1     Running     0          2d