c # код производительности импорта и анализа CSV-файлов

Question

Я импортирую большие файлы Excel в SQL через веб-приложение, каждый столбец в каждой строке преобразуется в бизнес-объект, а каждое свойство для объекта.

Так как fie - это csv, я выполняю большую проверку в коде, такую ​​как проверка значений свойств по значениям базы данных, операторов if, переключений регистра и т. Д., И это вызывает большую загрузку ЦП при обработке функции.

что будет лучшим способом обработки этих данных?

Answer 1

Рассмотрите возможность загрузки данных в промежуточные таблицы , например, , и выполните проверку с использованием логики набора, а не строки. Это избавляет от необходимости разбора на объекты вообще и должно одновременно перекладывать нагрузку на ЦП на другой сервер (если сервер приложений имеет недостаточную мощность) и снижает требуемую нагрузку на процессор.