Каков эффект хранения большого количества строк в таблице MySQL (может быть, более одного миллиарда) для поисковой системы?

Question

Я хочу сохранить более одной миллиарда строк в моей поисковой системе. ДБ.

Я думаю, что когда число строк становится больше числа, мы испытываем давление при извлечении запросов для представления результата.

Каков наилучший способ хранения большого количества данных в MySQL? один из протестированных мной подходов заключался в разделении данных на несколько таблиц вместо использования только одной таблицы, но это заставляет меня написать несколько сложных методов для извлечения данных из разных таблиц в каждом поиске.

Каков эффект хранения большого количества строк в таблице mysql (может быть, более одного миллиарда) для поисковой системы и что мы можем сделать для увеличения количества строк без негативного влияния на скорость выборки?

Я думаю, что Google и другие поисковые системы используют технику для визуализации некоторых наборов запросов и получения результатов на основе алгоритма ранжирования, это правда?

Я испытал хранение данных в разделенных таблицах для повышения эффективности, и этобыл хорош, но сложен для извлечения.

Пожалуйста, дайте мне технический подход, чтобы хранить больше данных в одной таблице с минимальным использованием ресурсов.

Answer 1

Вы можете легко хранить миллиарды данных в MySQL, и для быстрой обработки вы должны сделать правильную индексацию, а разбиение таблиц в основном для нормализации по столбцам, а не для строк. Эта более ранняя ссылка может помочь: Как хранить большое количество записей в базе данных MySql?

Answer 2

В любой базе данных основными методами доступа к большим таблицам являются:

• Правильная индексация
• Секционирование (т. Е. Хранение отдельных таблиц в нескольких «файлах»).

Обычно их достаточно и их должно быть достаточно для ваших данных.

Существуют некоторые дополнительные методы, которые зависят от данных и базы данных. Два, которые приходят на ум, это:

• Вертикальное / столбцовое разделение: хранение отдельных столбцов в отдельных табличных пространствах.
• Сжатие данных для широких столбцов.