scipy.optimize.differential_evolution не может быть запущен параллельно, если целевая функция имеет аргументы namedtuple - PullRequest
Новая
       74

scipy.optimize.differential_evolution не может быть запущен параллельно, если целевая функция имеет аргументы namedtuple

0 голосов
/ 28 января 2020

Чтобы сделать мой код моделирования более точным, я использовал именованные кортежи для управления параметрами модели. Я хотел бы использовать параллельную реализацию SciPy дифференциальной эволюции , чтобы приспособить мою модель к данным, но я могу заставить ее работать только последовательно.

В документации для differential_evolution указывается, что целевая функция должна быть "замачиваемой" для параллельной оптимизации. Использование именованных кортежей в аргументах целевой функции, кажется, нарушает это требование. Есть ли обходной путь, который не требует полного переписывания того, как мой код моделирования обрабатывает параметры?

Ниже приведен упрощенный пример.

код: 

from collections import namedtuple
from scipy.optimize import differential_evolution

def rosenbrock(x, par):
    """Rosenbrock function for testing optimization algorithms"""
    return (par.a - x[0])**2 + par.b*(x[1] - x[0]**2)**2

if __name__ == '__main__':
    # Define a namedtuple generator object for creating model parameter namedtuples.
    parameters_nt = namedtuple('parameters', 'a b')

    # Create a model parameter namedtuple with a=2 and b=3 (global minimum at [2, 4]).
    par01 = parameters_nt(2, 3)

    # Define optimization bounds.
    bounds = [(0, 10), (0, 10)]

    # Attempt to optimize in series.
    series_result = differential_evolution(rosenbrock, bounds, args=(par01,))
    print(series_result.x)

    # Attempt to optimize in parallel.
    parallel_result = differential_evolution(rosenbrock, bounds, args=(par01,),
                                             updating='deferred', workers=-1)
    print(parallel_result.x)

вывод программы: 

[2. 4.]
Traceback (most recent call last):
  File "parallel_test.py", line 23, in <module>
    parallel_result = differential_evolution(rosenbrock, bounds, args=(par01,), updating='deferred', workers=-1)
  File "/home/jack/miniconda3/lib/python3.7/site-packages/scipy/optimize/_differentialevolution.py", line 276, in differential_evolution
    ret = solver.solve()
  File "/home/jack/miniconda3/lib/python3.7/site-packages/scipy/optimize/_differentialevolution.py", line 688, in solve
    self.population)
  File "/home/jack/miniconda3/lib/python3.7/site-packages/scipy/optimize/_differentialevolution.py", line 789, in _calculate_population_energies
    parameters_pop[0:nfevs]))
  File "/home/jack/miniconda3/lib/python3.7/site-packages/scipy/_lib/_util.py", line 412, in __call__
    return self._mapfunc(func, iterable)
  File "/home/jack/miniconda3/lib/python3.7/multiprocessing/pool.py", line 268, in map
    return self._map_async(func, iterable, mapstar, chunksize).get()
  File "/home/jack/miniconda3/lib/python3.7/multiprocessing/pool.py", line 657, in get
    raise self._value
  File "/home/jack/miniconda3/lib/python3.7/multiprocessing/pool.py", line 431, in _handle_tasks
    put(task)
  File "/home/jack/miniconda3/lib/python3.7/multiprocessing/connection.py", line 206, in send
    self._send_bytes(_ForkingPickler.dumps(obj))
  File "/home/jack/miniconda3/lib/python3.7/multiprocessing/reduction.py", line 51, in dumps
    cls(buf, protocol).dump(obj)
_pickle.PicklingError: Can't pickle <class '__main__.parameters'>: attribute lookup parameters on __main__ failed

1 Ответ

0 голосов
/ 28 января 2020

Я изменил свой код так, что целевая функция принимает аргументы в качестве словаря, а затем преобразует этот словарь в именованный набор.

код 

from collections import namedtuple
from scipy.optimize import differential_evolution

def rosenbrock(x, par):
    """Rosenbrock function for testing optimization algorithms"""

    # Convert parameter dictionary to namedtuple.
    par = convert_par_type(par)

    return (par.a - x[0])**2 + par.b*(x[1] - x[0]**2)**2

def convert_par_type(par):
    """converts a parameter namedtuple to a dictionary and vice versa"""
    if type(par)==parameters_nt:
        par = dict(par._asdict())
    elif type(par)==dict:
        par = parameters_nt(**par)
    else:
        raise TypeError
    return par

if __name__ == '__main__':
    # Define a namedtuple factory object for generating model parameter namedtuples.
    parameters_nt = namedtuple('parameters', 'a b')

    # Create a model parameter namedtuple with a=2 and b=3 (global minimum at [2, 4]).
    par01 = parameters_nt(2, 3)

    # Convert model parameter namedtuple to dictionary.
    par02 = convert_par_type(par01)

    # Define optimization bounds.
    bounds = [(0, 10), (0, 10)]

    # Attempt to optimize in series.
    series_result = differential_evolution(rosenbrock, bounds, args=(par02,))
    print(series_result.x)

    # Attempt to optimize in parallel.
    parallel_result = differential_evolution(rosenbrock, bounds, args=(par02,),
                                             updating='deferred', workers=-1)
    print(parallel_result.x)

output 

[2. 4.]
[2. 4.]
...