состояние задачи сельдерея с ожиданием - PullRequest
Новая
       70

состояние задачи сельдерея с ожиданием

0 голосов
/ 31 декабря 2018

Я работаю с сельдереем, и я получаю статус задач, ожидающих, может быть, это проблема реализации.пожалуйста, проверьте мой код.

Я пытаюсь сохранить информацию о задаче, такую ​​как идентификатор, имя, статус, в моей базе данных mongodb, для этого я использую функцию, которую моя задача вызовет для сохранения данных в mongodb.

Получаю ли я свою задачу в ожидании, потому что мой вызов функции происходит до оператора возврата задачи?

settings.py 

CELERY_BROKER_URL = 'mongodb://localhost:27017/jobs'
CELERY_RESULT_BACKEND = "mongodb"
CELERY_IGNORE_RESULT = False
CELERY_TRACK_STARTED = True
CELERY_MONGODB_BACKEND_SETTINGS = {
"host": "127.0.0.1",
"port": 27017,
"database": "jobs",
"taskmeta_collection": "my_taskmeta_collection",
}
CELERY_BEAT_SCHEDULE = {
    'add-every-minute-contrab': {
        'task': 'username_length_periodically',
        'schedule': crontab(minute='*/1'),
        #'args' : (2,3),
    },
 }

CELERY_ACCEPT_CONTENT = ['application/json']
CELERY_TASK_SERIALIZER = 'json'
CELERY_RESULT_SERIALIZER = 'json'
CELERY_TIMEZONE = TIME_ZONE

celery.py 

from __future__ import absolute_import, unicode_literals
import os, logging
from celery import Celery
from celery.schedules import crontab


# set the default Django settings module for the 'celery' program.
os.environ.setdefault('DJANGO_SETTINGS_MODULE', 'RestUserAPI.settings')

app = Celery('UserAPI')

# Using a string here means the worker don't have to serialize
# the configuration object to child processes.
# - namespace='CELERY' means all celery-related configuration keys
#   should have a `CELERY_` prefix.
app.config_from_object('django.conf:settings', namespace='CELERY')

# Load task modules from all registered Django app configs.
app.autodiscover_tasks()

@app.task(bind=True)
def debug_task(self):
    print('Request: {0!r}'.format(self.request))

tasks.py 

from __future__ import absolute_import, unicode_literals
from celery import task, current_task, result
from django.conf import settings
import datetime
from .models import TaskMetaData


@task(name='username_length_periodically', bind=True)
def get_username_length_periodically(self):
    last_run = datetime.datetime.now()
    dict = {'name':self.name,
            'id':self.request.id,
            'status':self.AsyncResult(self.request.id).state,
            'last_run': last_run,
            }
    store_metadata(dict)
    return dict


def store_metadata(dict):
    metadata = TaskMetaData()
    metadata.task_id = dict['id']
    metadata.task_name = dict['name']
    metadata.task_status = dict['status']
    metadata.task_last_run = dict['last_run']

    metadata.save()

1 Ответ

0 голосов
/ 03 января 2019

Я думаю, что это просто старая логическая ошибка.Если вы посмотрите на свой вызов, чтобы проверить состояние задачи, используя AsyncResult: 

'status':self.AsyncResult(self.request.id).state,

Вы заметите, что проверяете состояние задачи во время ее выполнения.Это означает, что задача всегда будет отображать состояние PENDING (если только у вас не установлено track_task_started), когда вы проверяете задачу, потому что вы всегда проверяете состояние задачи изнутри задачи , а затем никогда не возвращаетесь и не обновляетеstatus!

Чтобы обновить статус задачи, вы должны запустить отдельную задачу мониторинга, которая периодически проверяет статус задачи и записывает ее в базу данных до тех пор, пока задачи не будут завершены или произойдет ошибка.например, 

@app.task(name='monitor')
def monitor(task_id):
    result = AsyncResult(task_id)
    if result.state in celery.results.READY_STATES:
        # update metadata table for the task_id
        ...
    else:
        monitor.apply_async(kwargs={ 'task_id': task_id }, countdown=60)
...