Управление числом процессоров, используемых матричными факторизациями scikit-learn (NMF, ICA) - PullRequest
0 голосов
/ 11 октября 2018

Я использую несколько алгоритмов факторизации матрицы scikit-learn v20s на машине с Ubuntu 16.04.Я обнаружил, что независимо от количества процессоров, доступных на моей машине, NMF и ICA будут использовать ровно половину из них.Например, запустив NMF на облачной виртуальной машине Google с 16 процессорами и проверив использование процессора с помощью верхней команды Unix, я обнаружил, что процесс Python использует 800% (8 процессоров) top output

В LDA есть опция njobs, которая якобы позволяет вам влиять на это.Но кто-нибудь знает, возможно ли контролировать количество процессоров, которые будут использоваться NMF или ICA?Это делает очень трудным распараллеливание нескольких различных задач факторизации, если я не могу повлиять на количество процессоров, которые будут использоваться в каждой задаче.

...