Похоже, ваша проблема вовсе не является обычной утечкой памяти.
Если бы я догадался, я бы сказал, что у вас плохо спроектированная структура данных, неэффективный кеш или, возможно,узкое место в параллелизме.
Вероятно, вам следует сосредоточиться на профилировании производительности, чтобы увидеть, куда идет время, и найти признаки конфликта блокировки.