Я не уверен, в чем проблема - я просто прочитал исходный код для C # клиента и C # реализации sqlite, и нет ничего очевидного - так что, возможно, вам просто нужно подождать несколько секунд чтобы операционная система закончила запись на диск до того, как все будет готово для удаления?
Конечно, если данных не так много, вам просто нужно использовать базу данных в памяти. Зачем беспокоить файловую систему данными, если вам это не нужно? Вам нужна эта строка подключения:
Data Source=file::memory:;Version=3;