Невозможно запустить модули в кластере Kubernetes (из DAG воздушного потока) - PullRequest
Новая
       10

Невозможно запустить модули в кластере Kubernetes (из DAG воздушного потока)

0 голосов
/ 19 июня 2019

У меня есть DAG с воздушным потоком, задачи которого я пытаюсь запустить в кластере AWS EKS. Задачи dag создаются в виде образов докеров и загружаются в AWS ECR.

Задача dag: 

task_1 = KubernetesPodOperator(namespace='default',
                               image="XXXXX.dkr.ecr.us-west-2.amazonaws.com/com.YYYY/math-demo:v1",
                               labels={"foo": "bar"},
                               name="math-test",
                               task_id="math-task",
                               get_logs=True,
                               dag=dag
                                )

Образ докера (на ECR) имеет вид "XXXXX.dkr.ecr.us-west-2.amazonaws.com/com.YYYY/math-demo:v1" и локальный образ докера math-demo: v1

Когда я запускаю эту задачу, модули всегда находятся в состоянии ожидания и никогда не выполняются. Я запустил kubectl, описал пакеты и получил следующую ошибку:

Не удалось создать изолированную программную среду pod: ошибка rpc: code = Unknown desc = [не удалось настроить контейнер изолированной программной среды "620ee0494e7aaf1776120df10351606c2203c194ca86079fd7198d56fabbc79b" сеть для модуля pd "math-test-fd-up-fdd: ff-test-fb-pg-pni-fb-pd-fgin_pbd_pf_p_px" -fbdabgin_pf_t_p_p_c_px_px_cx_px_cx_4_c4_5_c_px_c_px_c_px_c_40_mp_index_id_index_conf_p=====================/g=gg=gg=gg&bg=0 "network: rpc error: code = Unavailable desc = все SubConn находятся в TransientFailure, последняя ошибка соединения: ошибка соединения: desc =" transport: ошибка при наборе номера tcp 127.0.0.1:50051: соединение: соединение отказано ", не удалось очистить песочница контейнер сеть «620ee0494e7aaf1776120df10351606c2203c194ca86079fd7198d56fabbc79b» для стручок «математика-тест-fbdab794»: NetworkPlugin CNI не удалось Teardown стручка «по математике тест-fbdab794_default» сети: ошибка RPC: код = Недоступно убывание = все SubConns в TransientFailure, последняя ошибка соединения: соединение error: desc = "transport: ошибка при наборе номера. tcp 127.0.0.1:50051: соединение: соединение отклонено"]

Есть идеи, как это решить?

...