Возможно, я мог бы создать домен приложения и подключиться к событию DomainUnload, но я бы хотел сделать это в основном домене приложения.
Аналогов в .net нет: (
У вас правильная идея, вам нужно явно удалить ее.
// Delete the previously created file. File.Delete(filepath);