Вы можете попробовать запустить сборку мусора, запустив
GC.Collect();
Сделайте это после того, как вы закрыли и удалили объект БД.
Это, конечно, будет работать, только если это единственная ссылка на этот файл базы данных.
Изменить: Ответ на комментарий о том, что вы не должны использовать GC.Collect, чтобы "исправить" другие проблемы.
Не думаю, что это из-за другой проблемы. Сборщик мусора работает в неопределенное время, выбранное средой выполнения. Это означает, что вы не можете полагаться на то, что ваш объект находится между следующими строками.
Conn.Dispose();
//Nothing says GC will run exactly now
File.Delete(@"C:\Some-file-used-by-Conn.db");
Ваши варианты - принудительно собирать мусор или каким-либо образом задерживать удаление.