Требуется ли для воздушного потока mysql? - PullRequest
Новая
       7

Требуется ли для воздушного потока mysql?

0 голосов
/ 25 октября 2018

Я пытаюсь обновить нашу версию airflow до 1.10.0.Когда я это получаю, я получаю сообщение об ошибке, которое не может подключиться к mysql: 

worker_1     | sqlalchemy.exc.OperationalError: (_mysql_exceptions.OperationalError) (2002, 'Can\'t connect to local MySQL server through socket \'/var/run/mysqld/mysqld.sock\' (2 "No such file or directory")') (Background on this error at: http://sqlalche.me/e/e3q8)

Когда я пытаюсь полностью удалить mysql из наших систем, вместо этого я получаю следующее: 

scheduler_1  | [2018-10-25 17:22:19,399] {{celery_executor.py:113}} ERROR - No module named 'MySQLdb'

Mysql не отображается ни в одной из заданных нами переменных среды, а также в файле airflow.cfg.Похоже, что эта версия воздушного потока требует MySQL по какой-то другой причине.Это правда?

Обновление Это похоже на проблему, поднятую здесь , но меня больше интересует, почему airflow вообще вызывает mysql.

IСледует также отметить, что мы явно устанавливаем соединение sqlalchemy с базой данных postgres. 

AIRFLOW__CORE__SQL_ALCHEMY_CONN=postgres://airflow:airflow@postgres/airflow

Ошибка возникает, когда поток воздуха пытается записать результат выполнения задачи (помечая что-то как сбой).

Обновление

Это докер-файл, который я использую, который определяет изображение воздушного потока.Обратите внимание, нет упоминания о MySQL: 

# SOURCE: https://github.com/puckel/docker-airflow

FROM python:3.6-jessie

# Never prompts the user for choices on installation/configuration of packages
ENV DEBIAN_FRONTEND noninteractive
ENV TERM linux

# Airflow
ARG AIRFLOW_VERSION=1.10.0
ARG AIRFLOW_HOME=/usr/local/airflow

# Define en_US.
ENV LANGUAGE en_US.UTF-8
ENV LANG en_US.UTF-8
ENV LC_ALL en_US.UTF-8
ENV LC_CTYPE en_US.UTF-8
ENV LC_MESSAGES en_US.UTF-8
ENV PYTHONPATH ${AIRFLOW_HOME}
ENV AIRFLOW_GPL_UNIDECODE yes

COPY ./requirements.txt .

RUN set -ex \
    && buildDeps=' \
        python3-dev \
        libkrb5-dev \
        libsasl2-dev \
        libssl-dev \
        libffi-dev \
        build-essential \
        libblas-dev \
        liblapack-dev \
        libpq-dev \
        git \
    ' \
    && apt-get update -yqq \
    && apt-get upgrade -yqq \
    && apt-get install -yqq --no-install-recommends \
        $buildDeps \
        python3-pip \
        python3-requests \
        apt-utils \
        curl \
        rsync \
        netcat \
        locales \
        vim \
    && sed -i 's/^# en_US.UTF-8 UTF-8$/en_US.UTF-8 UTF-8/g' /etc/locale.gen \
    && locale-gen \
    && update-locale LANG=en_US.UTF-8 LC_ALL=en_US.UTF-8 \
    && useradd -ms /bin/bash -d ${AIRFLOW_HOME} airflow \
    && pip install -U pip setuptools wheel \
    && pip install Cython \
    && pip install pytz \
    && pip install pyOpenSSL \
    && pip install ndg-httpsclient \
    && pip install pyasn1 \
    && pip install apache-airflow[crypto,celery,postgres,hive,jdbc]==$AIRFLOW_VERSION \
    && pip install 'celery[redis]>=4.1.1,<4.2.0' \
    && pip install -r requirements.txt \
    && apt-get purge --auto-remove -yqq $buildDeps \
    && apt-get autoremove -yqq --purge \
    && apt-get clean \
    && rm -rf \
        /var/lib/apt/lists/* \
        /tmp/* \
        /var/tmp/* \
        /usr/share/man \
        /usr/share/doc \
        /usr/share/doc-base

COPY script/entrypoint.sh /entrypoint.sh
COPY celery_healthcheck.sh ${AIRFLOW_HOME}
COPY config/airflow.cfg ${AIRFLOW_HOME}/airflow.cfg
COPY dags ${AIRFLOW_HOME}/dags
COPY operators ${AIRFLOW_HOME}/operators
COPY models ${AIRFLOW_HOME}/models
COPY constants.py ${AIRFLOW_HOME}/constants.py
COPY envconsul ${AIRFLOW_HOME}/envconsul
COPY *.hcl ${AIRFLOW_HOME}/

RUN chown -R airflow: ${AIRFLOW_HOME}

EXPOSE 8080 5555 8793

USER airflow
WORKDIR ${AIRFLOW_HOME}

Ответы [ 2 ]

0 голосов
/ 26 октября 2018

Разобрался.Оказывается, этот другой env var (AIRFLOW__CELERY__RESULT_BACKEND) был установлен с опечаткой.У меня было установлено AIRFLOW__CELERY__CELERY_RESULT_BACKEND.Я не понимаю, почему это работало в 1.9 и внезапно начало выдавать эту ошибку при обновлении, но когда я исправил var, он теперь работает.

0 голосов
/ 25 октября 2018

Для работы воздушного потока требуется некоторая база данных.

Устанавливая AIRFLOW__CORE__SQL_ALCHEMY_CONN=postgres://airflow:airflow@postgres/airflow, вы указываете ему использовать соответствующую базу данных PostreSQL в качестве базы данных метаданных.И он попытается использовать его.

Странно то, что он жалуется на базу данных MySQL в сообщениях об ошибках.Я предполагаю, что вы использовали MySQL с предыдущей версией и инициализировали базу метаданных Airflow с airflow initdb, используя MySQL.Затем вы удалили MySQL, и Airflow начал жаловаться.

Я бы позаботился о том, чтобы БД PostgerSQL была доступна при подключении, указанном в AIRFLOW__CORE__SQL_ALCHEMY_CONN, и снова запустил airflow initdb.Затем Airflow должен начать использовать базу данных PostgreSQL для своих метаданных.

Если он не работает и вы можете жить с , потеряв все метаданные , полный сброс может помочь:

airflow resetdb
airflow initdb

Также обратите внимание, что Airflow рекомендует использовать psycopg2 для Postgres .

...