Перенос данных из MongoDB на SQL Server, производительность со временем снижается

Question

Я хочу перенести данные из MongoDB в SQL Sever с помощью драйвера C #. Размер данных составляет около 20 000 000 в трех коллекциях. Я использую 3 потока прочитайте его и вставьте 3 потока в 3 разные таблицы SQL Server.

После прочтения около 70 000 000 документов, производительность становится хуже, скорость примерно на одну десятую раньше, а сеть резкое снижение пропускной способности.

Как я могу предотвратить падение производительности?

Answer 1

Попробуйте перенести каждую коллекцию последовательно в одном потоке.Операция будет связана с вводом-выводом, а не с процессором, поэтому многопоточный запуск с большей вероятностью приведет к снижению производительности и увеличению конкуренции за ресурсы и переключению контекста в базах данных.

Также обратите внимание на записи на диск базы данных SQL Server.,Возможно, кеш жесткого диска используется, но затем запись замедляется, поскольку кеш записывается на диск.