Получите более миллиона строк из таблицы SQL Server

Question

В прошлом я получал System.OutOfMemoryException при загрузке более миллиона строк в DataTable из базы данных SQL Server. Правда ли, что вместо заполнения DataTable гораздо быстрее, например, загрузить его как-то в CSV или любой другой формат? Пожалуйста, из ваших советов, в конечном итоге с приведенным предложением / примером.

Answer 1

Не зная точно, как вы можете использовать данные, вы можете получить все данные, используя SqlDataReader, и записать их в файл базы данных SQLite. По сути, это дает вам локальную кэшированную версию миллиона строк, к которым вы можете обращаться, как если бы она была сохранена в базе данных, но не занимает память, поскольку записывается в локальный файл (и при необходимости предоставляет кэш в памяти).

https://docs.microsoft.com/en-us/dotnet/standard/data/sqlite/?tabs=netcore-cli