Мы начали с системы, которая сериализировала все тысячи объектов в памяти на диск каждые 15 минут или около того. Когда это заняло слишком много времени, мы переключились на смешанный режим сохранения объектов в реляционный файл DB и Pickle (кстати, это была система Python). В конце концов большая часть данных была сохранена в реляционной базе данных. Интересно, что система была написана таким образом, что весь код приложения не заботился о том, что там происходит. Все было сделано с использованием XP и тысяч автоматических тестов.