Мы переносим нашу базу данных MySQL в MongoDB и используем инструмент Mongify
Mongify очень хорошо переносит данные таблиц в коллекцию без использования ссылок.Но мы сталкиваемся с проблемами, когда используем справочные и встраиваемые документы, поскольку это занимает слишком много времени.Например, у нас есть 2 таблицы response и scale_rating response в основной таблице, а scale_rating является дочерней таблицей.
У нас 1,5 миллиона записей в ответ таблица и 9 миллионов записей в таблице scale_rating .Мы встраиваем таблица scale_rating как внедренный документ в коллекцию response на основе идентификатора ответа, в scale_rating нам также нужно несколько ссылочных идентификаторов, таких как fieldId, optionId, choiceId
В этом случае на каждые 10000 записей пакета требуется около 1 часа 15 минут для миграции.Таким образом, миграция этих двух таблиц займет более 900 часов времени.(Более месяца работает 24 * 7)
Не уверен, что мы делаем здесь что-то не так. Каков наилучший подход для переноса больших таблиц и встраивания документов в большие таблицы?