Обучение моделям машинного обучения Scikit-learn с использованием нескольких процессоров

Question

Я хочу сократить время обучения своих моделей, используя высокопроизводительный экземпляр EC2. Поэтому я попробовал экземпляр c5.18xlarge с 2 процессорами и запустил несколько моделей с параметром n_jobs=-1, но заметил, что использовался только один процессор:

Можно ли как-нибудь заставить Scikit-научиться использовать все процессоры?

Answer 1

Попробуйте добавить:

import multiprocessing
multiprocessing.set_start_method('forkserver')

вверху вашего кода, прежде чем запускать или импортировать что-либо. Это хорошо известная проблема с многопроцессорностью в python.