работает joblib. Параллельно (mlxtend) не масштабируется в облаке-мл

Question

Я запускаю задание с использованием библиотеки mlxtend. В частности, sequential_feature_selector, который распараллеливается с использованием joblib.Parallel source . Когда я запускаю пакет на своем локальном компьютере, он использует все доступные процессоры, но когда я отправляю задание на cloud-ml, он использует только одно ядро. Неважно, какое число я ввел в параметр n_jobs. Я также пробовал с разными типами машин, но то же самое происходит. Кто-нибудь знает, в чем может быть проблема?

Answer 1

Для всех, кого это может заинтересовать, мы решаем проблему исправления версии sklearn в setup.py до 0.20.2.у нас было sklearn в пакетах раньше, но без версии.

#setup.py
from setuptools import find_packages
from setuptools import setup

REQUIRED_PACKAGES = ['joblib==0.13.0',
                     'scikit-learn==0.20.2',
                     'mlxtend']