Триггер сельдерея Django manage.py cmd @periodic_task - PullRequest
Новая
       15

Триггер сельдерея Django manage.py cmd @periodic_task

0 голосов
/ 17 января 2019

Я хочу запускать команду manage.py из сельдерея как периодическую задачу каждые x минут, но каждый раз, когда я пытаюсь выполнить это, как показано ниже, я получаю следующую ошибку:

[2019-01-17 01: 36: 00,006: INFO / MainProcess] Полученное задание: Удалить неиспользуемые мультимедийные файлы [3dd2b93b-e32a-4736-8b24-028b9ad8da35]
[2019-01-17 01: 36: 00,007: ПРЕДУПРЕЖДЕНИЕ / ForkPoolWorker-3] Сканирование для неиспользуемые медиа-файлы [2019-01-17 01: 36: 00,008: ПРЕДУПРЕЖДЕНИЕ / ForkPoolWorker-3] Неизвестная команда: 'cleanup_unused_media --noinput --remove-empty-dirs' [2019-01-17 01: 36: 00,008: INFO / ForkPoolWorker-3] Задача Удалить не используется мультимедийный файл (файлы) [3dd2b93b-e32a-4736-8b24-028b9ad8da35] успешно 0.0008139749998008483s: нет

tasks.py 

from celery import Celery
from celery.schedules import crontab
from celery.task import periodic_task
from celery.utils.log import get_task_logger
import requests
from django.core import management


logger = get_task_logger(__name__)
app = Celery('tasks', broker='redis://127.0.0.1')

...
@periodic_task(run_every=(crontab(minute='*/90')), name="Delete unused media file(s)", ignore_result=True)
def delete_unused_media():
    try:
        print("Scanning for unused media files")
        management.call_command('cleanup_unused_media --noinput --remove-empty-dirs')
        return "success, old media files have been deleted"
    except Exception as e:
        print(e)

, что управление cmd происходит из следующего проекта: https://github.com/akolpakov/django-unused-media

мой управленческий звонок просто неверен или в чем дело?

спасибо заранее

ОБНОВЛЕНИЕ (Конфигурация сельдерея):

settings.py 

INSTALLED_APPS = [
...
'celery',
'django_unused_media',
...
# Celery Settings:
BROKER_URL = 'redis://127.0.0.1:6379'
CELERY_RESULT_BACKEND = 'redis://127.0.0.1:6379'
CELERY_ACCEPT_CONTENT = ['application/json']
CELERY_TASK_SERIALIZER = 'json'
CELERY_RESULT_SERIALIZER = 'json'
CELERY_TIMEZONE = 'UTC'
...
CACHES = {
    "default": {
        "BACKEND": "django_redis.cache.RedisCache",
        "LOCATION": [
            "redis://127.0.0.1:6379/0",
            #"redis://127.0.0.1:6379/1",
        ],
        "OPTIONS": {
            "CLIENT_CLASS": "django_redis.client.DefaultClient",
            "SOCKET_CONNECT_TIMEOUT": 15,  # in seconds
            "SOCKET_TIMEOUT": 15,  # in seconds
            "COMPRESSOR": "django_redis.compressors.zlib.ZlibCompressor",
            "CONNECTION_POOL_KWARGS": {"max_connections": 1000, "retry_on_timeout": True}
        }
    }
}

celery.py 

from __future__ import absolute_import, unicode_literals
from celery import Celery
import os

os.environ.setdefault('DJANGO_SETTINGS_MODULE', 'MyProject.settings')

app = Celery('MyProject')

# Using a string here means the worker doesn't have to serialize
# the configuration object to child processes.
# - namespace='CELERY' means all celery-related configuration keys
#   should have a `CELERY_` prefix.
app.config_from_object('django.conf:settings', namespace='CELERY')

# Load task modules from all registered Django app configs.
app.autodiscover_tasks()



@app.task(bind=True)
def debug_task(self):
    print('Request: {0!r}'.format(self.request))

_init __. Ру 

from __future__ import absolute_import, unicode_literals

# This will make sure the app is always imported when
# Django starts so that shared_task will use this app.
from .celery import app as celery_app

__all__ = ('celery_app')

например. Эта задача работает нормально: 

@periodic_task(run_every=(crontab(minute='*/1')), name="Get exchange rate(s)", ignore_result=True)
def get_exchange_rate():
    api_url = "https://api.coinmarketcap.com/v1/ticker/?limit=1"
    try:
        exchange_rate = requests.get(api_url).json()
        logger.info("BTC Exchange rate updated successfully.")
    except Exception as e:
        print(e)
        exchange_rate = dict()
    return exchange_rate

Ответы [ 2 ]

0 голосов
/ 19 января 2019

Для тех, кто использует Django 1.7+, кажется, что просто импортировать модуль настроек недостаточно.

у меня так получилось 

from celery import Celery
from celery.schedules import crontab
from celery.task import periodic_task
from celery.utils.log import get_task_logger
import requests, os, django
from django.core import management


logger = get_task_logger(__name__)
app = Celery('tasks', broker='redis://127.0.0.1')

@periodic_task(run_every=(crontab(minute='*/1')), name="Delete unused media file(s)", ignore_result=True)
def delete_unused_media():
    os.environ.setdefault("DJANGO_SETTINGS_MODULE", "MyProject.settings")
    django.setup()
    try:
        print("Scanning for unused media files")
        management.call_command('cleanup_unused_media', '--noinput', '--remove-empty-dirs')
        return "success, old media files have been deleted"
    except Exception as e:
        print(e)
0 голосов
/ 17 января 2019

Проблема в том, как вы звоните call_command.call_command принимает имя команды в качестве первого аргумента, за которым следуют аргументы, переданные позиционно.Вы передаете всю партию одной строкой.Попробуйте изменить его на: 

management.call_command('cleanup_unused_media', '--noinput', '--remove-empty-dirs')
...