Парсинг URL-адресов против хранения частей URL-адресов

Question

Я использую PHP и MySQL и создаю базу данных, которая должна хранить URL-адреса.Мне придется проделать большую работу с частями URL.В итоге получатся миллионы записей.

Мой вопрос в том, что имеет больше смысла:

• для хранения частей URL в нескольких полях, что избавляет от необходимости разбора
• Храните весь URL в одном поле и анализируйте его каждый раз

Спасибо за любой совет, который вы можете предложить!

Answer 1

Практическое правило при разработке новой схемы базы данных - не денормализовать, пока не будет доказано, что это необходимо.

Итак, начнем с самой нормализованной и самой простой схемы. И только после того, как у вас возникнут проблемы с производительностью - профиль ваше приложение и решение определенного узкого места.

Answer 2

Структура базы данных действительно зависит от запросов, которые вы планируете выполнять.

Если вам нужен поиск по частям URL, таким как доменное имя, вам нужно хранить их где-то еще, за пределами таблиц больших URL-адресов.выполнить эти запросы к меньшей таблице.

Answer 3

Зависит от вашего шаблона запроса. Если вы собираетесь делать что-то вроде SELECT * FROM urls WHERE hostname = ...., то вы, очевидно, хотите, чтобы они разбились на свои поля. Если вы никогда не собираетесь выполнять нарезку и нарезку данных с помощью запросов, то хранение только полного URL-адреса само по себе было бы хорошо. Но вы никогда не хотите анализировать на стороне db (всегда лучше просто хранить проанализированные данные, если вы обнаружите, что анализируете на стороне db).