Я запускаю некоторую библиотеку, обернутую вокруг pandas в Jupyter Lab.
Базовые кадры данных довольно велики (несколько Гбайт в ОЗУ), и большая часть обработки основана на итерациях на подчастях кадров данных до объединения части вместе.
При разработке с методом проб / ошибок, случается, что итерация вызывает исключение в угловых случаях для частей части кадра данных. Однако каждый раз, когда возникает исключение, я вижу, что использование памяти начинает увеличиваться (htop), поэтому мне приходится перезапускать ядро после слишком большого количества исключений.
Для последнего исключения sys.last_traceback хранит дескрипторы на этих больших объектах (для последнего исключения), поэтому я предполагаю, что дескрипторы моих больших структур хранятся где-то, а не только для последнего исключения.
Есть идеи, где копать?