Почему использование памяти дочерним (многопроцессорным) процессом python настолько отличается при совместном использовании ctypes.Structure со строкой и только со строкой? - PullRequest
Новая
       27

Почему использование памяти дочерним (многопроцессорным) процессом python настолько отличается при совместном использовании ctypes.Structure со строкой и только со строкой?

7 голосов
/ 16 февраля 2012

В следующем коде multiprocessing используется Array для совместного использования большого массива строк Юникода между процессами. Если я использую c_wchar_p в качестве типа, использование памяти дочерним процессом составляет примерно одну четверть памяти, используемой в родительском процессе (количество изменяется, если я изменяю количество записей в массиве).

Однако, если я использую ctypes.Structure с одним полем c_wchar_p, использование памяти дочерним процессом является постоянным и очень низким, в то время как использование памяти родительским процессом удваивается. 

import ctypes
import multiprocessing
import random
import resource
import time

a = None

class Record(ctypes.Structure):
    _fields_ = [('value', ctypes.c_wchar_p)]
    def __init__(self, value):
        self.value = value

    def __str__(self):
        return '(%s)' % (self.value,)

def child(i):
    while True:
        print "%ik memory used in child %i: %s" % (resource.getrusage(resource.RUSAGE_SELF).ru_maxrss / 1024, i, a[i])
        time.sleep(1)
        for j in xrange(len(a)):
            c = a[j]

def main():
    global a
    # uncomment this line and comment the next to switch
    #a = multiprocessing.Array(ctypes.c_wchar_p, [u'unicode %r!' % i for i in xrange(1000000)], lock=False)
    a = multiprocessing.Array(Record, [Record(u'unicode %r!' % i) for i in xrange(1000000)], lock=False)
    for i in xrange(5):
        p = multiprocessing.Process(target=child, args=(i + 1,))
        p.start()
    while True:
        print "%ik memory used in parent: %s" % (resource.getrusage(resource.RUSAGE_SELF).ru_maxrss / 1024, a[0])
        time.sleep(1)

if __name__ == '__main__':
    main()

Использование c_wchar_p приводит к таким выводам: 

363224k memory used in parent: unicode 0!
72560k memory used in child 5: unicode 5!
72556k memory used in child 3: unicode 3!
72536k memory used in child 1: unicode 1!
72568k memory used in child 4: unicode 4!
72576k memory used in child 2: unicode 2!

Использование результатов записи в этом выводе: 

712508k memory used in parent: (unicode 0!)
1912k memory used in child 1: (unicode 1!)
1908k memory used in child 2: (unicode 2!)
1904k memory used in child 5: (unicode 5!)
1904k memory used in child 4: (unicode 4!)
1908k memory used in child 3: (unicode 3!)

Почему?

1 Ответ

2 голосов
/ 16 февраля 2012

Я не знаю об увеличении использования памяти, но я не думаю, что он действительно делает то, что вы намереваетесь делать.

Если вы измените a[i] в родительском процессе, дочерние процессыне получайте одно и то же значение.

Лучше не передавать указатели (которые в точности совпадают с типами _p) между процессами.Как указано в multiprocessing docs:

Хотя возможно сохранить указатель в общей памяти, помните, что это будет указывать на местоположение в адресном пространстве определенного процесса.Однако вполне вероятно, что указатель недопустим в контексте второго процесса, и попытка разыменования указателя из второго процесса может вызвать сбой.

...