Почему многопроцессный сбой?

Question

Я обычно работаю с python2.7 на компьютере Windows10 и недавно сменил свой компьютер (все еще windows10), поэтому мне пришлось установить python и все модули на новый компьютер.

Я создал некоторый кодто, что решает группа Лассо, оштрафованная линейная модель.Для тех из вас, кто не привык работать с этими моделями, основная идея состоит в том, что вы вводите в качестве входных данных набор данных (x) и переменную ответа (y), а также значение параметра (lambda1), изменяя значениеэтот параметр меняет решение модели.Этот код использует библиотеку многопроцессорной обработки и решает различные модели (параллельно связанные с различными значениями параметров).

Ради воспроизводимости я включаю здесь упрощенную версию кода:

# -*- coding: utf-8 -*-
from __future__ import division
import functools
import multiprocessing as mp
import numpy as np
from cvxpy import *

def lm_gl_preprocessing(x, y, index, lambda1=None):
    lambda_vector = [lambda1]
    m = x.shape[1]
    n = x.shape[0]
    lambda_param = Parameter(sign="positive")
    m = m+1
    index = np.append(0, index)
    x = np.c_[np.ones(n), x]
    group_sizes = []
    beta_var = []
    unique_index = np.unique(index)
    for idx in unique_index:
        group_sizes.append(len(np.where(index == idx)[0]))
        beta_var.append(Variable(len(np.where(index == idx)[0])))
    num_groups = len(group_sizes)
    group_lasso_penalization = 0
    model_prediction = x[:, np.where(index == unique_index[0])[0]] * beta_var[0]
    for i in range(1, num_groups):
        model_prediction += x[:, np.where(index == unique_index[i])[0]] * beta_var[i]
        group_lasso_penalization += sqrt(group_sizes[i]) * norm(beta_var[i], 2)
    lm_penalization = (1.0/n) * sum_squares(y - model_prediction)
    objective = Minimize(lm_penalization + (lambda_param * group_lasso_penalization))
    problem = Problem(objective)
    response = {'problem': problem, 'beta_var': beta_var, 'lambda_param': lambda_param, 'lambda_vector': lambda_vector}
    return response

def solver(problem, beta_var, lambda_param, lambda_vector):
    beta_sol_list = []
    for i in range(len(lambda_vector)):
        lambda_param.value = lambda_vector[i]
        problem.solve(solver=ECOS)
        beta_sol = np.asarray(np.row_stack([b.value for b in beta_var])).flatten()
        beta_sol_list.append(beta_sol)
    return beta_sol_list

def parallel_solver(problem, beta_var, lambda_param, lambda_vector):
    # Divide parameter vector into chunks to be executed in parallel
    num_chunks = mp.cpu_count()
    chunks = np.array_split(lambda_vector, num_chunks)
    # Solve problem in parallel
    pool = mp.Pool(num_chunks)
    global_results = pool.map(functools.partial(solver, problem, beta_var, lambda_param), chunks)
    pool.close()
    pool.join()
    return global_results

Функция lm_gl_preprocessing в основном определяет модель, которая должна быть решена с помощью модуля cvxpy.Решатель функций берет детали модели из функции previus и решает задачу оптимизации, которая приводит к окончательному решению модели.Функция parallel_solver распараллеливает функцию решателя с использованием многопроцессорной обработки.

Чтобы запустить этот код, я выполняю:

from __future__ import division
from sklearn.datasets import load_boston
import numpy as np
import model as t

boston = load_boston()
x = boston.data
y = boston.target
index = np.array([1, 1, 1, 2, 2, 2, 3, 3, 3, 4, 4, 4, 5])
lambda1 = 1e-3

r1 = t.lm_gl_preprocessing(x=x, y=y, index=index, lambda1=lambda1)
s_1 = t.solver(problem=r1['problem'], beta_var=r1['beta_var'], lambda_param=r1['lambda_param'], lambda_vector=r1['lambda_vector'])

s_parallel_1 = t.parallel_solver(problem=r1['problem'], beta_var=r1['beta_var'], lambda_param=r1['lambda_param'], lambda_vector=r1['lambda_vector'])

На моем предыдущем компьютере это работало как чудо, но на новомЯ продолжаю получать сообщения об ошибках, связанных с решателем t.parallel, которые я не знаю, как решить:

Я попытался переустановить python и модулиснова на новом компьютере, но безрезультатно.Первоначально я думал, что это может быть вопрос версии библиотек, поэтому я установил одну и ту же версию на обоих компьютерах:

multiprocessing.__version__
'0.70a1'
import cvxpy; cvxpy.__version__
cvxpy.__version__
'0.4.8'

PS: я знаю, что в этом примере я использую параллельное программирование только для решенияодна модель с одним возможным значением параметра, но это всего лишь небольшой пример, предназначенный для демонстрации ошибки, которую предоставляет параллельный исполняемый код.