Вы не можете удалить свой файл, потому что сам файл является резервным хранилищем для страниц виртуальной памяти, которые содержат (в памяти) программный код.
Когда страница вашего кода выгружается из памяти операционной системой, она не попадает в файл подкачки, а просто удаляется и (при необходимости) загружается обратно из файла.
Полагаю, вы могли бы заставить программу сохранять файл подкачки (iirc, программы, выполняемые со съемного носителя, например cdrom, поддерживаются файлом подкачки), но, вероятно, лучшее решение - просто скопировать сборку в другое место, так какВы предложили.