Это не похоже на утечку памяти из графика, просто временное использование большего количества памяти. Обратите внимание, что после G C освобожденная память не будет возвращена ОС (немедленно), если она понадобится снова. Если у вас был один временный скачок в использовании памяти, он будет возвращен в ОС с течением времени.
В некоторых системах он может быть доступен только для ОС, которая может его не принимать, если только это не требуется в другом месте. (Это было отмечено в комментариях, но я не хотел вдаваться в подробности, чтобы избежать путаницы.)
Вы можете принудительно вернуть освобожденную память, используя debug.FreeOSMemory()
.