Оптимальный размер строки для одновременной выборки из большого стола

Question

У меня очень большая таблица содержит около 20 миллионов строк. Я должен получить около 4 миллионов строк из этой таблицы на основе некоторых критериев фильтрации. Все столбцы в критериях фильтрации охватываются некоторым индексом, а статистика таблиц обновлена.

Мне предложили вместо загрузки всех строк за один раз использовать размер пакета, например скажем, 80000 строк за раз, и это будет быстрее по сравнению с загрузкой всех строк за раз.

Можете ли вы предложить, если эта идея имеет смысл?

Если это имеет смысл, какой размер строки будет оптимальным для загрузки одновременно.

Answer 1

1. Это может быть намного быстрее, чем один sql.
2. Разделение данных с использованием PK.
3. Размер партии. Это зависит от длины строк и времени обработки. Начните с 10 000.
4. Работа по теме, если возможно

Answer 2

Используйте SSIS для манипулирования вашими данными ... он выполняет все, что вам нужно, например, многопоточность и оптимизацию размеров нагрузки и кэширования.

Раскрутите куб или посмотрите на инструменты хранилища данных Business Intelligence ...