Проблемы с конфигурацией воздушного потока докера (шайба / докер)

Question

После извлечения образа докера отсюда После прикрепления оболочки я понял, что файлы с учебниками не находятся в папке dag, указанной в airflow.cg (dags_folder = / usr / local / airflow / dags,папка дагс не существует).Вместо этого здесь находится учебный файл:

/ usr / local / lib / python3.6 / site-packages / airflow / example_dags / tutorial.py

Кроме того, выполняется список воздушных потоков list_dagвыдает предупреждения о том, что kubernetes not bieng не установлен, и мне не хватает разрешений для запуска apt-get для таких приложений, как vim, для редактирования файлов py или даже для запуска ps для просмотра процессов.

Поскольку я новичок в docker и airflow,Что-нибудь мне нужно изменить в докер-файле при сборке?

Примечание. Я использую Docker для Windows для создания образа linux.

Answer 1

Предупреждения о Kubernetes исходят из того факта, что модуль airflow[kubernetes] не устанавливается по умолчанию в Dockerfile Puckel, но не о чем беспокоиться, если вы не хотите использовать KubernetesPodOperator от Airflow.

Это также нормальночто у вас нет прав на редактирование модулей python, когда вы заходите внутрь контейнера, потому что вы вошли в систему как пользователь airflow, а не как root, и у этого пользователя есть доступ только на запись в каталог $ AIRFLOW_HOME.В общем, редактирование файлов изнутри контейнера является хакерским, и вам следует избегать этого.

Если я правильно угадаю, вам нужно загрузить собственные пакеты из airflow-docker.Если это так, вы можете запустить что-то вроде следующего:

docker run -d -p 8080:8080 -v <local_path_to_your_dags>:/usr/local/airflow/dags  puckel/docker-airflow webserver

Здесь вы монтируете локальную папку со своего компьютера в папку HOME / dags в контейнере, которая используется для загрузкипанты.