Ваши темы, вероятно, имеют IsBackground = false. Процесс не может быть завершен, если все еще работают не фоновые потоки. Таким образом, поток пользовательского интерфейса - не единственный поток, который может поддержать процесс.
Чтобы решить эту проблему, либо установите для IsBackground ваших рабочих потоков значение true (если вы удовлетворены тем, что среда выполнения .NET убивает их при закрытии главного окна), либо завершите их самостоятельно (например, во время события Close), если Вы хотите быть уверены, что они будут закрыты предсказуемым образом.