Очевидно, что вы делаете что-то в своем коде, что приводит к загрузке сборки в ваш собственный процесс. Оказавшись там, он застревает, и файл блокируется до тех пор, пока не будет выгружен домен приложения, в который он загружается. Который, без сомнения, является основным, он застрял, пока ваша программа не завершится.
Обратите внимание на окно вывода Visual Studio, вы получите уведомление отладчика, как только он загрузится. Пройдя по коду во время просмотра windwo, вы легко изолируете оператор, который его вызывает.