Я пытаюсь найти способ импортировать много данных в сильно проиндексированную коллекцию. У меня есть миллионы документов 1-2kb, которые нужно импортировать за короткие промежутки времени. Почти каждое поле документа должно быть проиндексировано.
Я получил эти данные формально в течение дня, и мне нужно получить их в БД как можно скорее. Однако у меня возникла проблема: в какой-то момент существует много данных, и индексация кажется настолько тяжелой, что записи выполняются очень медленно.
Мне интересно, как работает индексация в этом случае, потому что я вижу много заданий контрольной точки в журнале и нет задания построения индекса. Что происходит, что требует 100% на всех ядрах, я должен дать базе данных перерыв, чтобы что-то сделать, и добавить больше данных позже? Я знаю, что если я запишу данные, а затем включу индексирование, это будет достаточно быстро.