Первое, что пришло мне в голову, - это синхронизировать / объединить с базой данных на рабочем столе или на сервере, хотя это не похоже на то, что это действительно соответствует вашим потребностям. Итак, вот моя вторая мысль:
BULK INSERT имя_файла FROM data_file
Я не уверен, поддерживается ли он в вашей версии SQL CE (хотя, похоже, он поддерживается в 3.5 SP1 из того, что я могу сказать на страницах MSDN). http://msdn.microsoft.com/en-us/library/ms188365.aspx
Вы также можете отключить любые индексы в таблице при вставке данных, чтобы ускорить процесс, а затем включить / перестроить индекс после завершения вставки.