Как ускорить ВСТАВКИ / ОБНОВЛЕНИЯ MySQL?

Question

У меня есть три большие таблицы MySQL.Они приближаются к 2 миллионам записей.Две таблицы InnoDB и в настоящее время имеют размер около 500 МБ.Другая таблица - MyISAM, и ее размер составляет около 2,5 ГБ.

Мы запускаем скрипт импорта из FileMaker для вставки и обновления записей в этих таблицах, но в последнее время он стал очень медленным - вставка только нескольких сотен записей в час.1003 *

Что можно сделать для повышения производительности, чтобы ускорить вставку и обновление?

Answer 1

Для таблицы Innodb, если это приемлемый риск, я бы подумал об изменении уровня innodb_flush_log_at_trx_commit . Некоторые подробности в этом сообщении в блоге , наряду с некоторыми другими указателями настройки Innodb.

Для обоих двигателей пакетирование INSERT вместе может ускорить процесс. См. Документ .

Какую версию MySQL вы используете? Было много улучшений с новым движком InnoDB «Plugin» и параллелизмом операций на серверах с несколькими процессорами.

Answer 2

Является ли запрос медленным при выполнении на MySQL из командной строки?

Если вы используете шаг сценария Execute SQL из FileMaker, который подключается и отключается после каждого вызова, вызывая серьезные замедления при выполнении большихколичество запросов.Чтобы избежать этого, клиенты переключились на наш JDBC-плагин (отказ от саморекламы), что привело к значительному ускорению.

Answer 3

Для INSERT это может быть связано с индексами, которые вы определили для таблиц (они должны обновляться после каждой INSERT).Не могли бы вы опубликовать больше информации о них?И есть ли триггеры, установленные в таблицах?

Для UPDATE это другая история, возможно, обновление не медленное, а поиск медленныйНе могли бы вы попытаться изменить ОБНОВЛЕНИЕ в ВЫБОР и посмотреть, если это все еще медленно?Если да, то вам следует изучить ваши индексы.

Answer 4

Оказывается, причина медлительности была в аспекте FileMaker.Экспорт записей FileMaker в CSV и выполнение команд INSERT / UPDATE привели к очень быстрому выполнению.