Кажется, проблема в том, что система не может восстановить достаточно памяти даже после полной сборки мусора. Это также отрицательно сказывается на продвижении объектов в оставшиеся в живых и оставшиеся в живых пространства, которые там на самом деле не принадлежат.
Размер старого поколения должен уменьшиться со временем, большинство объектов (или, по крайней мере, должно быть) очень недолговечны. Если вы обнаружите, что старое поколение продолжает расти, то где-то может быть утечка ресурсов. Из вашего графика кажется, что какое-то распределение переворачивает систему через край и превращает ее в спираль смерти.
Постарайтесь составить представление о том, какие объекты создаются, и, что более важно, как долго они находятся вокруг. Это даст вам лучшее представление о том, где вы должны искать.