В модуле (возможно, в том же, который содержит Sub Main) создайте общедоступную подпрограмму (например, AppCleanUp), в которой будет находиться ваш код очистки.
Добавьте класс в ваш проект (например, clsAppCleanup). В этом классе добавьте код в обработчик событий Class_Terminate, который вызывает подпрограмму, созданную на предыдущем шаге.
В модуле (возможно, в том же, который содержит Sub Main) определите переменную clsAppCleanup.
В Sub Main создайте экземпляр clsAppCleanup.
Когда приложение закрывается, событие завершения в классе вызовет выполнение кода очистки.