Как создать собственный класс генератора, который будет правильно собирать мусор - PullRequest
Новая
       54

Как создать собственный класс генератора, который будет правильно собирать мусор

1 голос
/ 09 ноября 2019

Я пытаюсь написать класс на Python, который ведет себя как объект-генератор, особенно в том случае, когда он собирает мусор, .close() вызывается для него. Это важно, потому что это означает, что когда генератор прерывается, я могу быть уверен, что он очистит после себя, например, закрыв файлы или сняв блокировки.

Вот некоторый пояснительный код: если вы прервали работу генератора, то когдаэто мусор, Pyhton вызывает .close() для объекта генератора, который выбрасывает ошибку GeneratorExit в генератор, которая может быть перехвачена для очистки, как показано ниже: 

from threading import Lock

lock = Lock()

def CustomGenerator(n, lock):
    lock.acquire()
    print("Generator Started: I grabbed a lock")
    try:
        for i in range(n):
            yield i
    except GeneratorExit:
        lock.release()
        print("Generator exited early: I let go of the lock")
        raise
    print("Generator finished successfully: I let go of the lock")

for i in CustomGenerator(100, lock):
    print("Recieved ", i)
    time.sleep(0.02)
    if i==3:
        break

if not lock.acquire(blocking=False):
    print("Oops: Finished, but lock wasn't released")
else:
    print("Finished: Lock was free")
    lock.release()

Generator Started: I grabbed a lock
Recieved  0
Recieved  1
Recieved  2
Recieved  3
Generator exited early: I let go of the lock
Finished: Lock was free

Однако,если вы попытаетесь реализовать свой собственный объект-генератор, унаследовав от collections.abc.Generator, Python, похоже, не заметит, что он должен вызывать close, когда объект собран: 

from collections.abc import Generator
class CustomGeneratorClass(Generator):
    def __init__(self, n, lock):
        super().__init__()
        self.lock = lock
        self.lock.acquire()
        print("Generator Class Initialised: I grabbed a lock")
        self.n = n
        self.c = 0

    def send(self, arg):
        value = self.c
        if value >= self.n:
            raise StopIteration
        self.c += 1
        return value

    def throw(self, type, value=None, traceback=None):
        print("Exception Thrown in Generator: I let go of the lock")
        self.lock.release()
        raise StopIteration

for i in CustomGeneratorClass(100, lock):
    print("Recieved ", i)
    time.sleep(0.02)
    if i==3:
        break

if not lock.acquire(blocking=False):
    print("Oops: Finished, but lock wasn't released")
else:
    print("Finished: Lock was free")
    lock.release()

Generator Class Initialised: I grabbed a lock
Recieved  0
Recieved  1
Recieved  2
Recieved  3
Oops: Finished, but lock wasn't released

Я думал, что наследованиеGenerator было бы достаточно, чтобы убедить python в том, что мой CustomGeneratorClass был генератором и должен вызывать .close() при его сборке при сборке мусора.

Я предполагаю, что это связано с тем фактом, что хотя 'объект генератора'какие-то особенные Generator: 

from types import GeneratorType

c_gen = CustomGenerator(100)
c_gen_class = CustomGeneratorClass(100)

print("CustomGenerator is a Generator:", isinstance(c_gen, Generator))
print("CustomGenerator is a GeneratorType:",isinstance(c_gen, GeneratorType))

print("CustomGeneratorClass is a Generator:",isinstance(c_gen_class, Generator))
print("CustomGeneratorClass is a GeneratorType:",isinstance(c_gen_class, GeneratorType))

CustomGenerator is a Generator: True
CustomGenerator is a GeneratorType: True
CustomGeneratorClass is a Generator: True
CustomGeneratorClass is a GeneratorType: False

Могу ли я сделать пользовательский класс объективнымт это GeneratorType? Есть ли что-то, чего я не понимаю о том, как python решает, что вызывать .close()? Как я могу убедиться, что .close() вызывается на моем собственном генераторе?

Этот вопрос не является дубликатом Как написать класс генератора . Для фактического создания класса генератора, принятый ответ на этот вопрос действительно рекомендует именно ту структуру, которую я здесь пытаюсь, которая является классом генератора, но не правильно собирает мусор, как показано в коде выше.

1 Ответ

1 голос
/ 10 ноября 2019

PEP342 , состояния:

[generator].__del__() - это оболочка для [generator].close(). Это будет вызвано, когда объект генератора будет собран сборщиком мусора ...

Класс Generator в collection.abc не реализует __del__, а также его суперклассы илиметаклассом.

Добавление этой реализации __del__ к классу в вопросе приводит к освобождению блокировки: 

class CustomGeneratorClass(Generator):

    ...

    def __del__(self):
        self.close()

Вывод: 

Generator Class Initialised: I grabbed a lock
Recieved  0
Recieved  1
Recieved  2
Recieved  3
Exception Thrown in Generator: I let go of the lock
Finished: Lock was free

Caveat:

Я не разбираюсь в тонкостях финализации объектов в Python, поэтому это предложение следует критически изучить и проверить на предмет уничтожения. В частности, следует учитывать предупреждения о __del__ в справочнике .

Более высокоуровневым решением было бы запустить генератор в диспетчере контекста 

with contextlib.closing(CustomGeneratorClass(100, lock)):
    # do stuff

но это громоздко, и полагается на пользователей кода, не забывающих сделать это.

...