Таблицы с 30-миллионными записями работают медленно. Оптимизировать MySQL или перейти на mongodb?

Question

У меня есть простая база данных mysql, работающая на одном сервере с двумя таблицами: продукты и обзоры. Таблица продуктов содержит около 10 миллионов записей, а таблица отзывов - около 30 миллионов записей.

Весь Db составляет около 30 Гб. Я чувствую, что все идет медленно, и мне интересно, что мне с этим делать. Я создал индексы, но это не помогло. Например, у таблицы товаров есть поле категории, а когда я делаю простой select * from products where category=2 - это просто медленно.

Поможет ли мне переход в mongodb в этой ситуации, или я могу решить эту проблему, просто как-то оптимизировав Mysql? В этом случае я должен сделать шардинг или размер таблиц не так велик, и можно оптимизировать другим способом?

Таблицы и my.cnf

CREATE TABLE IF NOT EXISTS `products` (
  `id` int(11) NOT NULL auto_increment,
  `product_title` varchar(1000) NOT NULL,
  `product_id` varchar(100) NOT NULL,
  `title` varchar(1000) NOT NULL,
  `image` varchar(1000) NOT NULL,
  `url` varchar(1000) NOT NULL,
  `price` varchar(100) NOT NULL,
  `reviews` int(11) NOT NULL,
  `stars` float NOT NULL,
  `BrowseNodeID` int(11) NOT NULL,
  `status` varchar(100) NOT NULL,
  `started_at` int(15) NOT NULL,
  PRIMARY KEY  (`id`),
  KEY `id_index` (`BrowseNodeID`),
  KEY `status_index` (`status`),
  KEY `started_index` (`started_at`),
  KEY `id_ind` (`id`)
) ENGINE=MyISAM  DEFAULT CHARSET=latin1 AUTO_INCREMENT=13743335 ;


CREATE TABLE IF NOT EXISTS `reviews` (
  `id` int(11) NOT NULL auto_increment,
  `product_id` varchar(100) NOT NULL,
  `product_title` varchar(1000) NOT NULL,
  `review_title` varchar(1000) NOT NULL,
  `content` varchar(5000) NOT NULL,
  `author` varchar(255) NOT NULL,
  `author_profile` varchar(1000) NOT NULL,
  `stars` float NOT NULL,
  `owner` varchar(100) NOT NULL,
  PRIMARY KEY  (`id`),
  KEY `product_id` (`product_id`),
  KEY `id_index` (`product_id`)
) ENGINE=MyISAM  DEFAULT CHARSET=latin1 AUTO_INCREMENT=48129737 ;

Некоторая информация от my.cnf

set-variable    = query_cache_size=1512M
set-variable    = thread_cache_size=8
thread_concurrency = 8
skip-innodb
low-priority-updates
delay-key-write=ALL

key_buffer_size = 100M
max_allowed_packet = 1M
#table_open_cache = 4048
sort_buffer_size = 2M
read_buffer_size = 2M
read_rnd_buffer_size = 8M
myisam_sort_buffer_size = 50M
set-variable    = table_cache=256
set-variable    = query_cache_limit=1024M
set-variable    = query_cache_size=1024M

Answer 1

Исходя из вашего my.cnf, выглядит, как будто ваш key_buffer_size слишком мал , поэтому вы собираетесь записывать на диск для каждого чтения В идеале это значение должно быть больше общего размера ваших индексов MyISAM.

Прежде чем перейти к изменению технологий БД, вы также можете рассмотреть возможность изменения типа таблицы на InnoDB. Ваш my.cnf отключил его прямо сейчас. Я получил довольно звездную производительность из 300-метровой таблицы строк с умными индексами и достаточным объемом памяти. InnoDB также предоставит вам некоторую свободу действий с более длительными операциями чтения, поскольку они не заблокируют всю вашу таблицу.