Слово «база данных» в вопросе убедительно говорит о том, что просто сериализации / десериализации недостаточно. Конечно, если вы можете поместить все свои данные в память, и вы будете рады выполнить все запросы самостоятельно, это может сработать - но вам нужно будет учесть стоимость потенциального считывания всего в память при запуске и, возможно, записи всего вне всякий раз, когда вы меняете что-либо.
Скажу честно, база данных лучше подходит для меня. Является ли SQLite наиболее подходящей базой данных для вас или нет - это другой вопрос.
Сказав все это, для веб-сайта C # in Depth я храню всю информацию о комментариях / ошибках в простом XML-файле, который загружается и сохраняется каждый раз, когда я вносю изменения. Он работает хорошо, им легко управлять, и файл доступен для чтения человеком в системе контроля версий, когда я этого захочу. Однако у меня на 1007 * на 1008 * меньше записей, чем у вас, и они тоже намного проще. У меня нет никаких требований поиска - мне просто нужно перечислить все и выбрать по идентификатору. Я предполагаю, что ваши потребности довольно сложны, поэтому я рекомендую использовать базу данных.