Возможное состояние гонки между сигналом Django post_save и задачей сельдерея - PullRequest
Новая
       20

Возможное состояние гонки между сигналом Django post_save и задачей сельдерея

0 голосов
/ 27 ноября 2018

В приложении django 2.0 у меня есть модель под названием Document, которая загружает и сохраняет изображение в файловой системе.Эта часть работает.Я выполняю некоторое распознавание лиц на изображении, используя https://github.com/ageitgey/face_recognition в задании сельдерея (v 4.2.1).Я передаю document_id изображения в задачу celery, чтобы задача распознавания лиц могла найти изображение для работы.Это все работает хорошо, если я вызываю задачу face_recognition вручную из действия DocumentAdmin после сохранения изображения.

Я попытался вызвать задачу face_recognition из метода (models.signals.post_save, sender=Document) в моем models.py, и я получил сообщение об ошибке этой строки в задаче celery для face_recognition: 

document = Document.objects.get(document_id=document_id)

иошибка: 

[2018-11-26 16:54:28,594: ERROR/ForkPoolWorker-1] Task biometric_identification.tasks.find_faces_task[428ca39b-aefb-4174-9906-ff2146fd6f14] raised unexpected: DoesNotExist('Document matching query does not exist.',)
Traceback (most recent call last):
  File "/home/mark/.virtualenvs/memorabilia-JSON/lib/python3.6/site-packages/celery/app/trace.py", line 382, in trace_task
    R = retval = fun(*args, **kwargs)
  File "/home/mark/.virtualenvs/memorabilia-JSON/lib/python3.6/site-packages/celery/app/trace.py", line 641, in __protected_call__
    return self.run(*args, **kwargs)
  File "/home/mark/python-projects/memorabilia-JSON/biometric_identification/tasks.py", line 42, in find_faces_task
    document = Document.objects.get(document_id=document_id)
  File "/home/mark/.virtualenvs/memorabilia-JSON/lib/python3.6/site-packages/django/db/models/manager.py", line 82, in manager_method
    return getattr(self.get_queryset(), name)(*args, **kwargs)
  File "/home/mark/.virtualenvs/memorabilia-JSON/lib/python3.6/site-packages/django/db/models/query.py", line 403, in get
    self.model._meta.object_name
memorabilia.models.DoesNotExist: Document matching query does not exist.

Кроме того, эта ошибка не возникает все время, только изредка.В остальное время процесс работает;то есть изображение сохраняется и лица идентифицируются.

Я переопределяю save_model в классе DocumentAdmin, но это просто сохраняет некоторые метаданные для изображения в другой модели.Последняя строка - это вызов super().save_model(request, obj, form, change), поэтому я предполагаю, что после этого вызывается сигнал post_save.

Мне кажется, что существует условие состязания между сохранением модели в базе данных и задачей сельдерея, запрашивающей базу данных для вновь созданного document_id.Я думал, что сигнал post_save не был активирован, пока модель не была сохранена?

Нужно ли добавлять искусственную задержку в задачу сельдерея face_recognition, чтобы обойти это возможное состояние гонки, или я что-то упустил??

Спасибо!

Марка

Ответы [ 2 ]

0 голосов
/ 27 ноября 2018

Проверьте вашу функцию, где Document модель сохраняется.Он находится где-то в блоке atomic или у вас ATOMIC_REQUESTS установлено значение True.Поэтому, когда вызывается post_save, транзакция еще не зафиксирована.Таким образом, ваша модель в настоящий момент не сохраняется в базе данных.

0 голосов
/ 27 ноября 2018

Кажется, что иногда сигнал бьет вашу скорость записи в БД!В качестве опасного обходного пути вы можете запустить задачу сельдерея чуть позже, всего на несколько секунд.

Вот как это делается: 

your_task.apply_async(
            [document_id],
            countdown=5 # this is the delay in seconds - you can adapt it accordingly
        )

Дайте мне знать, если этоработает для вашего случая!

...