Celery Worker не собирает задачу при запуске внутри docker контейнеров - PullRequest
Новая
       41

Celery Worker не собирает задачу при запуске внутри docker контейнеров

0 голосов
/ 26 мая 2020

Я столкнулся с этой проблемой, когда я запускаю своего сельдерея в контейнере docker, он не собирает задачи.

Я использую Flask и сельдерей.

Вот мои журналы, когда я запускаю его без docker 

celery@MacBook-Pro.local v4.4.2 (cliffs)

Darwin-18.2.0-x86_64-i386-64bit 2020-05-26 22:16:40

[config]
.> app:         __main__:0x111343470
.> transport:   redis://localhost:6379//
.> results:     redis://localhost:6379/
.> concurrency: 8 (prefork)
.> task events: ON

[queues]
.> celery           exchange=celery(direct) key=celery


[tasks]
  . load_data.scraping.tasks.scrape_the_data_daily
  . scrape the data daily

Вы можете ясно видеть, что мой рабочий обнаруживает задачу, но не выполняет задачу periodi c.

Когда я запускаю та же команда в docker вот что я получаю: 

celery-worker_1  | /usr/local/lib/python3.6/site-packages/celery/platforms.py:801: RuntimeWarning: You're running the worker with superuser privileges: this is
celery-worker_1  | absolutely not recommended!
celery-worker_1  | 
celery-worker_1  | Please specify a different user using the --uid option.
celery-worker_1  | 
celery-worker_1  | User information: uid=0 euid=0 gid=0 egid=0
celery-worker_1  | 
celery-worker_1  |   uid=uid, euid=euid, gid=gid, egid=egid,
celery-worker_1  | [2020-05-26 18:54:02,088: DEBUG/MainProcess] | Worker: Preparing bootsteps.
celery-worker_1  | [2020-05-26 18:54:02,090: DEBUG/MainProcess] | Worker: Building graph...
celery-worker_1  | [2020-05-26 18:54:02,092: DEBUG/MainProcess] | Worker: New boot order: {Timer, Hub, Pool, Autoscaler, StateDB, Beat, Consumer}

Итак, похоже, что он не находит приложение и задачи.

Но если я выполню команду из контейнер docker, я вижу, что мои задачи найдены.

Вот как я настроил свой docker -compose 

web:
    image: apis
    build: .
    command: uwsgi --http 0.0.0.0:5000 --module apis.wsgi:app
    env_file:
      - ./.env
    environment:
      - POSTGRES_HOST=db
      - CELERY_BROKER_URL=redis://redis:6379
      - CELERY_RESULT_BACKEND_URL=redis://redis:6379
    volumes:
      - ./apis:/code/apis
      - ./tests:/code/tests
      - ./load_data:/code/load_data
      - ./db/:/db/
    ports:
      - "5000:5000"
    links: 
      - redis
  redis:
    image: redis
  celery-beat:
    image: apis
    command: "celery -A apis.celery_app:app beat -S celerybeatredis.schedulers.RedisScheduler --loglevel=info"
    env_file:
      - ./.env
    depends_on:
      - redis
    links: 
      - redis
    environment:
      - CELERY_BROKER_URL=redis://redis:6379
      - CELERY_RESULT_BACKEND_URL=redis://redis:6379
      - CELERY_REDIS_SCHEDULER_URL=redis://redis:6379
      - C_FORCE_ROOT=true
    volumes:
      - ./apis:/code/apis
      - ./tests:/code/tests
      - ./load_data:/code/load_data
      - ./db/:/db/
    shm_size: '64m'
  celery-worker:
    image: apis
    command: "celery worker -A apis.celery_app:app --loglevel=debug -E"
    env_file:
      - ./.env
    depends_on:
      - redis
      - celery-beat
    links: 
      - redis
    environment:
      - CELERY_BROKER_URL=redis://redis:6379
      - CELERY_RESULT_BACKEND_URL=redis://redis:6379
      - CELERY_REDIS_SCHEDULER_URL=redis://redis:6379
      - C_FORCE_ROOT=true
    volumes:
      - ./apis:/code/apis
      - ./tests:/code/tests
      - ./load_data:/code/load_data
      - ./db/:/db/
    shm_size: '64m'

, и настройка сельдерея такая. .. 

from apis.app import init_celery
from celery.schedules import crontab
from apis.config import CELERY_REDIS_SCHEDULER_KEY_PREFIX, CELERY_REDIS_SCHEDULER_URL
from celery.task.control import inspect

app = init_celery()
app.conf.imports = app.conf.imports + ("load_data.scraping.tasks",)
app.conf.imports = app.conf.imports + ("apis.models.address", )

app.conf.beat_schedule = {
    'get-data-every-day': {
        'task': 'load_data.scraping.tasks.scrape_the_data_daily',
        'schedule': crontab(minute='*/5'),
    },
}
app.conf.timezone = 'UTC'
app.conf.CELERY_REDIS_SCHEDULER_URL = CELERY_REDIS_SCHEDULER_URL
app.conf.CELERY_REDIS_SCHEDULER_KEY_PREFIX = CELERY_REDIS_SCHEDULER_KEY_PREFIX

i = inspect()
print(10*"===", i.registered_tasks())

И сельдерей инициализируется вот так 

def init_celery(app=None):
    app = app or create_app()
    celery.conf.broker_url = app.config["CELERY_BROKER_URL"]
    celery.conf.result_backend = app.config["CELERY_RESULT_BACKEND"]
    celery.conf.update(app.config)

    class ContextTask(celery.Task):
        """Make celery tasks work with Flask app context"""

        def __call__(self, *args, **kwargs):
            with app.app_context():
                return self.run(*args, **kwargs)

    celery.Task = ContextTask
    return celery

В основном у меня 2 вопроса.

  1. 1-й - почему я не получаю задача при запуске внутри контейнера docker?
  2. 2nd Почему мои задачи не выполняются?

Любые идеи приветствуются г.

Ответы [ 2 ]

0 голосов
/ 27 мая 2020

Хорошо,

Я не знаю, почему журналы рабочих процессов не отображают задачу на docker и до сих пор.

Но проблема заключалась в том, что я использовал планировщик, по какой-то странной причине он не отправлял расписание для задачи.

Я просто меняю планировщик и нашел этот пакет , очень хорошо документированный, и он помогает мне достичь того, что я хотел.

сельдерей согласно документации: 

from apis.app import init_celery
from celery.schedules import crontab
from apis.config import CELERY_REDIS_SCHEDULER_URL

app = init_celery()
app.conf.imports = app.conf.imports + ("load_data.scraping.tasks",)
app.conf.imports = app.conf.imports + ("apis.models.address", )

app.conf.beat_schedule = {
    'get-data-every-day': {
        'task': 'load_data.scraping.tasks.scrape_the_data_daily',
        'schedule': crontab(minute='*/60'),
    },
}
app.conf.timezone = 'UTC'
app.conf.redbeat_redis_url = my redis url

И я обновил скрипт, запускающий бит, следующим образом: 

celery -A apis.celery_app:app beat -S redbeat.RedBeatScheduler --loglevel=info
0 голосов
/ 27 мая 2020

Я не могу комментировать, так как у меня нет 50 кармы. Готов поспорить, что есть проблема с сетью. Убедитесь, что все ваши контейнеры прослушивают правильный интерфейс.

Что заставляет меня думать, что ваша служба redis в docker-compose не объявляет какие-либо сетевые параметры, поэтому будет использоваться значение по умолчанию (это localhost ). Это будет означать, что контейнер redis недоступен извне.

После того, как вы docker-compose up запустите docker ps -a, чтобы узнать, какой интерфейс redis слушает.

...