Вы уверены, что убираете после закрытия форм и не оставляете одну открытой, но не видимой? Я не уверен, отличается ли это от VS2005, но я видел приложения, которые не полностью удаляли элементы в форме, оставляя биты в памяти. Хотя они сами по себе не создают модальную форму, это чувство возникает при открытии формы. Не видя ваш код, я могу только догадываться.