Итак, у меня есть база данных SQL Server, которую я подключил к приложению vb и использую SSMS.Приложение считывает данные, а затем в основном анализирует и извлекает данные из файлов .txt, а затем вставляет их в 2 таблицы в моей базе данных.
Способ загрузки данных в основном заключается в чтении в файле .txt,затем помещаем информацию в таблицу данных, sqlbulkcopy эти данные, затем в промежуточную таблицу (без индексов) в моей базе данных и, наконец, select into из промежуточной таблицы в живую версию таблиц.Живые таблицы имеют индексы (2 некластеризованных и 1 кластеризованный каждый.).
У меня, похоже, возникают проблемы, поскольку моя база данных растет со временем загрузки.Раньше это было очень быстро (40 секунд на файл 750 МБ .txt), но из того, что я могу сказать, что вся промежуточная таблица для вставки в живую таблицу занимает ОЧЕНЬ много времени, более 6 минут (может быть, больше на файл), мне пришлось отменитькак это заняло слишком много времени.Я знаю, что это может быть связано с ростом моей базы данных (70 миллионов строк на момент написания.), Но я не думаю, что это займет так много времени для вставки.
Я отключил любые некластеризованные индексы в таблице жизнейи никакого большого улучшения не было замечено.Любые другие идеи, как улучшить вставку данных?
ТАКЖЕ Я знаю, что люди предложат также удалить и воссоздать кластеризованный индекс, но это приводит к моему другому вопросу, я пытался отбросить свой кластеризованный индекс, но, похоже, он занимает необычное количествовремени.Я ждал более часа, и снова он все еще работал.Я проверил, блокирует ли это какой-либо процесс, но казалось, что его нет?Опять же, любая информация или помощь будут высоко оценены.