Недавно я столкнулся с такой же проблемой.
Для каждого процесса существует ограничение в 10 000 дескрипторов - его легко достичь, если вы динамически создаете сложный интерфейс.
Чтобы проверить, происходит ли это для вас, используйте Диспетчер задач - перейдите на вкладку Процессы, включите столбцы для «Объекты USER» и «Объекты GDI». Затем воспроизведите проблему.
В моем случае количество объектов USER достигло 10000, а затем "boom".
Если это то, что происходит с вами, вам нужно убедиться, что старые элементы управления правильно расположены перед созданием новой формы. Возможно, вам придется изменить дизайн, чтобы использовать меньше ручек - это то, что мне нужно было сделать.