Ошибка глобального имени параллельного Python

Question

Эй, я пытаюсь запустить простой код, который добавляет список чисел одновременно, используя Parallel Python

import sys, time
import pp
import numpy
x = numpy.arange(-20.0,20.0,0.5)
def function(raw_input):
    f = 0
    for i in numpy.arange(len(x)):
        f+=1
    a=raw_input[0]
    b=raw_input[1]
    c=raw_input[2]
    d=raw_input[3]
    print len(x)
    return (a+b+c+d)+f
# tuple of all parallel python servers to connect with
ppservers = ()
#ppservers = ("10.0.0.1",)

if len(sys.argv) > 1:
    ncpus = int(sys.argv[1])
    # Creates jobserver with ncpus workers
    job_server = pp.Server(ncpus, ppservers=ppservers)
else:
    # Creates jobserver with automatically detected number of workers
    job_server = pp.Server(ppservers=ppservers)
print "Starting pp with", job_server.get_ncpus(), "workers"

start_time = time.time()

# The following submits 4 jobs and then retrieves the results
puts = ([1,2,3,4], [3,2,3,4],[4,2,3,6],[2,3,4,5])

jobs = [(raw_input, job_server.submit(function,(raw_input,), (), ("numpy",))) for raw_input in puts]
for raw_input, job in jobs:
    print "Sum of numbers", raw_input, "is", job()

print "Time elapsed: ", time.time() - start_time, "s"
job_server.print_stats()

так что в основном я хочу, чтобы он добавил [1,2,3,4] вместе, одновременно добавляя [3,2,3,4], [4,2,3,6], [2,3 , 4,5]. И добавьте «F», который является длиной х (что составляет 80) для всех ответов. выход должен выглядеть следующим образом:

Начиная с 4 рабочих

Сумма чисел [1, 2, 3, 4] составляет 90

Сумма чисел [3, 2, 3, 4] составляет 92

Сумма чисел [4, 2, 3, 6] составляет 95

Сумма чисел [2, 3, 4, 5] составляет 94

прошедшее время: 0,394000053406 с

Статистика выполнения работ:

количество работ | % всех рабочих мест | сумма рабочего времени | время на работу | сервер заданий

     4 |        100.00 |       1.4380 |     0.359500 | local

Время, прошедшее с момента создания сервера. 0,442999839783

проблема, с которой я сталкиваюсь, состоит в том, что с x вне "function" оболочка возвращается с глобальным именем 'x', не определенным, но если вы поместите x в оболочку, она вернет полный массив x.

я запутался, почему он достаточно четко определен, чтобы возвращать мне "x", когда я помещаю его в оболочку, но работа не находит x или что-либо еще вне определения функции.

Answer 1

Я думаю, что проблема в том, что x определен на сервере заданий (который работает в оболочке), но не на рабочих заданиях, потому что рабочие имеют доступ только к переменным в своих входах.

Вы должны быть в состоянии исправить это, передавая x в качестве дополнительного аргумента при отправке заданий.

Насколько я вижу, вычисление f всегда будет иметь результат len (x)так что вы можете просто передать значение для f:

import sys, time
import pp
import numpy
x = numpy.arange(-20.0,20.0,0.5)
def function(raw_input,f):
    a=raw_input[0]
    b=raw_input[1]
    c=raw_input[2]
    d=raw_input[3]
    return (a+b+c+d)+f
# tuple of all parallel python servers to connect with
ppservers = ()
#ppservers = ("10.0.0.1",)

if len(sys.argv) > 1:
    ncpus = int(sys.argv[1])
    # Creates jobserver with ncpus workers
    job_server = pp.Server(ncpus, ppservers=ppservers)
else:
    # Creates jobserver with automatically detected number of workers
    job_server = pp.Server(ppservers=ppservers)
print "Starting pp with", job_server.get_ncpus(), "workers"

start_time = time.time()

# The following submits 4 jobs and then retrieves the results
puts = ([1,2,3,4], [3,2,3,4],[4,2,3,6],[2,3,4,5])

jobs = [(raw_input, job_server.submit(function,(raw_input,len(x)), (), ("numpy",))) for raw_input in puts]
for raw_input, job in jobs:
    print "Sum of numbers", raw_input, "is", job()

print "Time elapsed: ", time.time() - start_time, "s"
job_server.print_stats()