Я перемещаю свою базу данных в mysql, но есть одна довольно большая таблица (более 47 миллионов строк в год), и для вставки всех данных требуются годы.
Я уже перепробовал все, что нашел на форуме: разбиение на разделы, индексирование, полный текст ... и это правда, работает лучше, но далеко не эффективно.
Для получения дополнительной информации: База данных о гидрологических данных, зарегистрированных за последние десять лет. В моей базе данных есть три таблицы: одна содержит объекты для сохранения, другая для сохранения датчиков каждого объекта, а последняя и та, которая вызывает большую проблему, - это где я ежечасно храню всю информацию, собранную для каждого датчика (эта таблица будет содержать 47 миллионов данных за каждый год в базе данных)
Можно ли выполнить вставку менее чем за 10 часов?
Большое спасибо!
Обновление:
что я пытаюсь сделать (потому что это проще) - это перенести данные из нашей пользовательской базы данных (которая основана на файловой системе, с пользовательскими двоичными файлами) в стандартную базу данных SQL. Истинный источник информации исходит от нашего программного обеспечения, и это данные, размещенные в памяти: в программе имеется большой набор объектов, в которых мы храним векторы даты / значения, которые могут быть огромными в зависимости от обработки (потому что мы можем выберите любой startDate и endDate). Мы хотим хранить почасовые данные. Это будет конечной целью базы данных SQL.