MySQL - синхронизация большой промежуточной таблицы с производственной таблицей - PullRequest
0 голосов
/ 03 июня 2011

У меня есть таблица с 4mil + записей.Существует промежуточная таблица, которая обновляется данными через процесс ETL в течение дня.После того, как промежуточная таблица обновлена, мне нужно синхронизировать эти данные с рабочей таблицей.В настоящее время я использую запрос INSERT / ON DUPLICATE KEY UPDATE, чтобы синхронизировать их, однако с размером этой таблицы для выполнения требуется ~ 750 секунд.Есть ли более эффективный способ обновить / вставить новые данные?Я читал кое-что о секционировании таблиц, но я не уверен, нужно ли мне это делать или нет.Кто-нибудь может дать мне несколько советов о том, как сделать это более эффективно?

1 Ответ

0 голосов
/ 03 июня 2011

Я бы использовал инструменты maatkit (http://www.maatkit.org/), специально http://www.maatkit.org/doc/mk-table-sync.html. Это довольно эффективно в таких вещах.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...