Аргумент группы ошибок должен быть None на данный момент в multiprocessing.pool - PullRequest
Новая
       130

Аргумент группы ошибок должен быть None на данный момент в multiprocessing.pool

0 голосов
/ 23 октября 2018

Ниже приведен мой скрипт на python. 

import multiprocessing
# We must import this explicitly, it is not imported by the top-level
# multiprocessing module.
import multiprocessing.pool
import time

from random import randint


class NoDaemonProcess(multiprocessing.Process):
    # make 'daemon' attribute always return False
    def _get_daemon(self):
        return False
    def _set_daemon(self, value):
        pass
    daemon = property(_get_daemon, _set_daemon)

# We sub-class multiprocessing.pool.Pool instead of multiprocessing.Pool
# because the latter is only a wrapper function, not a proper class.
class MyPool(multiprocessing.pool.Pool):
    Process = NoDaemonProcess

def sleepawhile(t):
    print("Sleeping %i seconds..." % t)
    time.sleep(t)
    return t

def work(num_procs):
    print("Creating %i (daemon) workers and jobs in child." % num_procs)
    pool = multiprocessing.Pool(num_procs)

    result = pool.map(sleepawhile,
        [randint(1, 5) for x in range(num_procs)])

    # The following is not really needed, since the (daemon) workers of the
    # child's pool are killed when the child is terminated, but it's good
    # practice to cleanup after ourselves anyway.
    pool.close()
    pool.join()
    return result

def test():
    print("Creating 5 (non-daemon) workers and jobs in main process.")
    pool = MyPool(20)

    result = pool.map(work, [randint(1, 5) for x in range(5)])

    pool.close()
    pool.join()
    print(result)

if __name__ == '__main__':
    test()

Это работает на сервере Ubuntu, и я использую Python 3.6.7

У меня все работало правильно после обновления apt-get Imполучаю ошибку как 

group argument must be None for now

В чем может быть ошибка, с которой я сталкиваюсь.Должен ли я изменить версию Python.Должен ли я откатить изменения после обновления.

EDIT 1

Исключение стека: - 

Traceback (most recent call last):
  File "/src/mainapp.py", line 104, in bulkfun
    p = MyPool(20)
  File "/usr/lib/python3.6/multiprocessing/pool.py", line 175, in __init__
    self._repopulate_pool()
  File "/usr/lib/python3.6/multiprocessing/pool.py", line 236, in _repopulate_pool
    self._wrap_exception)
  File "/usr/lib/python3.6/multiprocessing/pool.py", line 250, in _repopulate_pool_static
    wrap_exception)
  File "/usr/lib/python3.6/multiprocessing/process.py", line 73, in __init__
    assert group is None, 'group argument must be None for now'
AssertionError: group argument must be None for now

EDIT 2

Код работает для python2.7, python3.5 Но если я запускаю Python 3.6.7, я получаю ошибку, как показано ниже. 

Creating 5 (non-daemon) workers and jobs in main process.
Traceback (most recent call last):
  File "multi.py", line 52, in <module>
    test()
  File "multi.py", line 43, in test
    pool = MyPool(5)
  File "/usr/lib/python3.6/multiprocessing/pool.py", line 175, in __init__
    self._repopulate_pool()
  File "/usr/lib/python3.6/multiprocessing/pool.py", line 236, in _repopulate_pool
    self._wrap_exception)
  File "/usr/lib/python3.6/multiprocessing/pool.py", line 250, in _repopulate_pool_static
    wrap_exception)
  File "/usr/lib/python3.6/multiprocessing/process.py", line 73, in __init__
    assert group is None, 'group argument must be None for now'
AssertionError: group argument must be None for now

Ответы [ 2 ]

0 голосов
/ 21 января 2019

Я столкнулся с этой проблемой при обновлении дистрибутива Travis с 14.04 до 16.04, и python 3.6 начал давать сбой.Я нашел решение этой проблемы, так как это было исправление для другого пакета - ИСПРАВЛЕНИЕ: Python 2.7-3.7.1 совместимый NonDaemonPool 

class NonDaemonPool(multiprocessing.pool.Pool):
    def Process(self, *args, **kwds):
        proc = super(NonDaemonPool, self).Process(*args, **kwds)

        class NonDaemonProcess(proc.__class__):
            """Monkey-patch process to ensure it is never daemonized"""
            @property
            def daemon(self):
                return False

            @daemon.setter
            def daemon(self, val):
                pass

        proc.__class__ = NonDaemonProcess
        return proc
0 голосов
/ 04 декабря 2018

здесь тоже самое.
Этот код работал в моем случае (python 3.6.7).(https://stackoverflow.com/a/53180921/10742388)

class NoDaemonProcess(multiprocessing.Process):
    @property
    def daemon(self):
        return False

    @daemon.setter
    def daemon(self, value):
        pass


class NoDaemonContext(type(multiprocessing.get_context())):
    Process = NoDaemonProcess

# We sub-class multiprocessing.pool.Pool instead of multiprocessing.Pool
# because the latter is only a wrapper function, not a proper class.
class MyPool(multiprocessing.pool.Pool):
    def __init__(self, *args, **kwargs):
        kwargs['context'] = NoDaemonContext()
        super(MyPool, self).__init__(*args, **kwargs)

Я думаю, что эта проблема связана с изменением process.py (https://github.com/python/cpython/blob/8ca0fa9d2f4de6e69f0902790432e0ab2f37ba68/Lib/multiprocessing/process.py#L189)

...