Я хочу запустить некоторые scikit-learn вещи как работу, используя celery.Проблема в scikit-learn отказывается / не может использовать многопроцессорность из рабочего процесса сельдерея.Обычно выдается предупреждение:
[2018-10-23 09: 24: 45,858: WARNING / PoolWorker-1] /usr/local/lib/python2.7/site-packages/sklearn / externals / joblib / parallel.py: 739: UserWarning: параллельные циклы с обратной связью не могут быть вызваны в многопроцессорном режиме, задано значение n_jobs = 1
и процесс будет продолжаться последовательно.
Я не очень знаком с опциями многопроцессорной обработки Python, поэтому теряюсь в джунглях библиотек, называемых multiprocessing, joblib, billiard, loky.Очевидно, celery использует billiard внутри.scikit-learn=0.20.0 использует встроенную версию loky.
Некоторые важные проблемы GitHub: