С:
1) Это общая проблема,
2) Вы новичок в своей платформе
- Я предлагаю вам посмотреть в предоставленных библиотеках для вашей платформы, чтобы найти решение для решения этой задачи. В дополнение к постановке в очередь и обработке заданий вы также захотите учесть:
1) статус связи между работником и веб-стеком. Это активирует веб-страницы, которые показывают процентное значение полного числа для задания, уверяют человека, что задание выполняется, и т. Д.
2) Как обеспечить, чтобы рабочий процесс не умер.
3) Если в задании возникла ошибка, будет ли рабочий процесс автоматически повторять ее периодически?
Будете ли вы или оперативный сотрудник получать уведомления о сбое в работе?
4) Можно ли добавить дополнительных работников для увеличения параллелизма по мере увеличения числа рабочих мест?
Или, что еще лучше, можно ли добавлять рабочих на другие серверы?
Если вы не можете найти хорошее решение в Django / Python, вы также можете подумать о переносе решения с другой платформы на свою. Я использую delayed_job для Ruby on Rails. Рабочий процесс управляется runit.
С уважением,
Larry