Используйте профилировщик, например ANTS Profiler или dotTrace .
Есть много, много вещей, которые могут вызвать такое поведение - попытка решить проблему с произвольными предложениями, вероятно, никуда нас не приведет.
Как только профилировщик определит проблемные области, вы можете опубликовать этот код в новом вопросе, если не можете решить эту проблему.
При том, что стоит 1,5 ГБ, это не огромный . Дает ли в конечном итоге OutOfMemoryException
, если удерживать кнопку нажатой?