Огромное использование памяти ipcontroller

Question

Я сейчас использую IPython 0.10.2 и Python 2.7. Я запускаю один ipcontroller и 20 ipengines на моем кластере. Структура кода очень проста. Я просто использую методы MultiEngineClient.execute () и интерфейс словаря MultiEngineClient (например, mec ['a'] = b). Мое текущее приложение должно работать почти два дня. Однако после 10 часов работы я обнаружил, что ipcontroller использовал 3,1 ГБ памяти. Я использую MultiEngineClient.clear_properties (). Но это никогда не освобождает память. Кто-нибудь знает как освободить память ipcontroller?

Answer 1

К сожалению, может быть невозможно эффективно освободить память в Controller в IPython 0.10, но метод MultiEngineClient.clear_pending_results() может помочь.

Контроллер в 0.11-0.12 может использовать базу данных (sqlite или mongodb) для сохранения результатов, и было замечено, что они работают долго, с гигабайтами пропускной способности без необоснованного долгосрочного роста.