Вы должны заблокировать БД вместо использования Mutex, так как всегда есть вероятность, что другие приложения могут получить доступ к тому же ресурсу.Даже если вы знаете, что только ваш dll и приложение в настоящее время получают доступ к ресурсу, кто-то может написать приложение для доступа к этому ресурсу и нарушить схему.
Взгляните на SQLite PRAGMA (lock_mode и синхронно).