Я использую сельдерей, чтобы запланировать некоторые задачи в моем приложении django.Некоторые из задач являются сложными, поэтому я использую бильярд для их выполнения.Celery может выполнить задачу, если я использую CELERY_TASK_ALWAYS_EAGER = True в setting.py, но если я не использую этот параметр, работник зависает в строке pool.map.Может кто-нибудь предложить обходной путь для этого.
Я использую:
- Джанго: 2.1.12
- Питон: 3.6
- Сельдерей: 4.3.0
- ОС: Windows
Заранее большое спасибо
def marketcrawling(UserDetails, freq):
pool = multiprocessing.Pool(8)
tasks = ssekeyword.split(' ')
func = partial(scrapmarket, freq=freq)
results = pool.map(func, tasks)