FullText INDEXING на MyISAM действительно медленный - PullRequest
Новая
       16

FullText INDEXING на MyISAM действительно медленный

2 голосов
/ 03 октября 2011

У меня есть таблица 

CREATE TABLE `dataFullText` (
`id` int(11) NOT NULL,
`title` char(255) NOT NULL,
`description` text NOT NULL,
`name` char(100) NOT NULL,
`ref` char(50) NOT NULL,
PRIMARY KEY (`id`),
FULLTEXT KEY `fulltext` (`ref`,`name`,`title`,`description`)
) ENGINE=MyISAM DEFAULT CHARSET=utf8

, в которой содержится около 100 тыс. Записей. 

mysql> select * from information_schema.TABLES WHERE TABLE_NAME='jobsFullText'\G
*************************** 1. row ***************************
TABLE_CATALOG: NULL
TABLE_SCHEMA: ****
TABLE_NAME: dataFullText
TABLE_TYPE: BASE TABLE
ENGINE: MyISAM
VERSION: 10
ROW_FORMAT: Dynamic
TABLE_ROWS: 79495
AVG_ROW_LENGTH: 791
DATA_LENGTH: 62938804
MAX_DATA_LENGTH: 281474976710655
INDEX_LENGTH: 53625856
DATA_FREE: 51328
AUTO_INCREMENT: NULL
CREATE_TIME: 2011-10-03 13:38:25
UPDATE_TIME: 2011-10-03 13:55:56
CHECK_TIME: 2011-10-03 13:38:48
TABLE_COLLATION: utf8_general_ci
CHECKSUM: NULL
CREATE_OPTIONS: 
TABLE_COMMENT:

Эта таблица обновляется каждый час с помощью ЗАГРУЗКИ ДАННЫХ INFILE, которая содержит около 8 тыс. Записей.

Время блокировки таблицы составляет около 30 секунд.Что соответствует времени, которое я делаю 

mysql> alter table dataFullText drop index title;
Query OK, 79495 rows affected (1.33 sec)
Records: 79495  Duplicates: 0  Warnings: 0

mysql> alter table dataFullText add fulltext index (ref,name,title,description);
Query OK, 79495 rows affected (22.96 sec)
Records: 79495  Duplicates: 0  Warnings: 0

Моя проблема в том, что 30 секунд - это действительно много времени.Эта таблица запрашивается 5 раз / секунд, что делает очередь достигающей 30 x 5 = 150.Поскольку наш максимальный лимит подключений установлен на 100, сервер MySQL начинает отклонять некоторые входящие подключения.

В будущем мы планируем иметь по крайней мере 1 миллион строк в этой таблице, и я думаю, это не получится быстрее.

Могу ли я что-нибудь сделать, чтобы сократить время, которое использует MySQL?для обновления индекса?

1 Ответ

0 голосов
/ 08 июля 2012

В обычной СУБД SQL полная индексация такой таблицы вам не поможет. Индекс фактически больше, чем сама таблица, и время, необходимое для доступа к нему, будет даже больше, чем время для доступа к таблице без индекса.

Теперь, это действительно зависит от конкретной установки: объем оперативной памяти, общая скорость системы. Прежде чем добавлять индексы и, да, обновление / воссоздание индексов идет медленно, просто убедитесь, что оно того стоит в конкретных условиях, в которых вы находитесь.

...