Как можно начинать задания с сельдереем? - PullRequest
Новая
       37

Как можно начинать задания с сельдереем?

9 голосов
/ 01 ноября 2019

Почему я не могу запустить периодические задачи?

proj / settings.py 

REDIS_HOST = 'localhost'
REDIS_PORT = '6379'
CELERY_BROKER_URL = 'redis://localhost:6379'
BROKER_URL = 'redis://' + REDIS_HOST + ':' + REDIS_PORT

CELERY_BEAT_SCHEDULE = {
    'task-first': {
        'task': 'app.tasks.one',
        'schedule': timedelta(seconds=1)
    },
    'task-second': {
        'task': 'app.tasks.two',
        'schedule': crontab(minute=0, hour='*/3,10-19')
    }
}

proj / celery.py 

os.environ.setdefault('DJANGO_SETTINGS_MODULE', 'proj.settings')

app = Celery('proj')
app.config_from_object('django.conf:settings')

app.autodiscover_tasks(lambda: settings.INSTALLED_APPS)

proj / __ init.py __ 

from .celery import app as celery_app

__all__ = ['celery_app']

сельдерей -Продвиженец -l информация 

[2019-10-31 16:57:57,906: INFO/MainProcess] Connected to redis://localhost:6379//
[2019-10-31 16:57:57,912: INFO/MainProcess] mingle: searching for neighbors
[2019-10-31 16:57:58,927: INFO/MainProcess] mingle: all alone
[2019-10-31 16:57:58,951: INFO/MainProcess] celery@lexvel-MS-7A72 ready.

Задачи найдены

сельдерей -A proj beat -l информация 

Configuration ->
    . broker -> redis://localhost:6379//
    . loader -> celery.loaders.app.AppLoader
    . scheduler -> celery.beat.PersistentScheduler
    . db -> celerybeat-schedule
    . logfile -> [stderr]@%INFO
    . maxinterval -> 5.00 minutes (300s)
[2019-10-31 16:58:02,851: INFO/MainProcess] beat: Starting...

Файл celerybeat-shedule создан. Но кроме этих строк больше ничего не отображается.

tasks 

@task()
def one():
    print('start 1', datetime.now())
    driver = init_driver()
    parse(driver)
    driver.close()
    driver.quit()
​
​
@task()
def two():
    print('start 2', datetime.now())
    driver = init_driver()
    parse2(driver)
    driver.close()
    driver.quit()
    print('end 2', datetime.now())

Ответы [ 2 ]

4 голосов
/ 01 ноября 2019

Команда удара сельдерея 

celery -A proj worker -l info -B --scheduler django_celery_beat.schedulers:DatabaseScheduler

Эта команда использовалась для запуска удара сельдерея.

Сначала добавьте модуль django_celery_beat в установленные приложения в файле настроек.

И затем примените команду django migrate, это создаст таблицы в панели администратора.

После завершения всего процесса, как в файле сельдерея, и создания задачи в tasks.py.

вы примените команду удара, как упомянуто выше.

proj / settings.py 

INSTALLED_APPS = [

    'django.contrib.admin',
    'django.contrib.auth',
    'django.contrib.contenttypes',
    'django.contrib.sessions',
    'django.contrib.messages',
    'django.contrib.staticfiles',

    'django_celery_beat',
]

REDIS_URL = "redis://localhost:6379/1"

CELERY_BROKER_URL=REDIS_URL

CELERY_RESULT_BACKEND=REDIS_URL

CELERY_ACCEPT_CONTENT = ['application/json']

CELERY_RESULT_SERIALIZER = 'json'

CELERY_TASK_SERIALIZER = 'json'

CELERY_BEAT_SCHEDULE = {

        'task-first': {
        'task': 'app.tasks.one',
        'schedule': timedelta(seconds=1)
       },
      'task-second': {
        'task': 'app.tasks.two',
        'schedule': crontab(minute=0, hour='*/3,10-19')
      }
}

proj/celery.py

from celery import Celery

from django.conf import settings

os.environ.setdefault('DJANGO_SETTINGS_MODULE', 'proj.settings')

app = Celery('proj')

app.config_from_object('django.conf:settings')

app.autodiscover_tasks(lambda: settings.INSTALLED_APPS)

proj / __ init.py __ 

from .celery import app as celery_app

**__all__** = ['celery_app']
2 голосов
/ 01 ноября 2019

Когда вы запускали своего работника, он говорил, что app.tasks.one и app.tasks.two являются зарегистрированными задачами? Если они не отображаются там как зарегистрированные задачи, то ваш ритм - планирование задач, которые не могут быть выполнены. - Они просто будут ждать в очереди и в конце концов истекают. Другой способ проверить, зарегистрированы ли они у вас, - celery -A proj.celeryapp inspect registered (измените proj.celeryapp на любое местоположение вашего приложения Celery).

...