Google Sitemap - Должен ли я обеспечить контроль загрузки / кэширование?

Question

У меня есть сайт сообщества, на котором в настоящий момент находится около 10000 записей. Я принимаю новую URL-стратегию, например,

example.com/products/category/some-product-name

В рамках стратегии я реализую карту сайта. У Google уже есть хороший индекс моего сайта, но URL будут изменены. Я использую php-фреймворк, который обращается к БД для каждого списка товаров.

Меня беспокоит эффект от предоставления 10000 новых URL-адресов для Google, должен ли я быть?

Возможное решение, на которое я обращаю внимание, - рендеринг моих php-выводимых страниц в статические HTML-страницы. У меня уже есть эта функциональность в другом месте на сайте. Таким образом, Google будет индексировать 10000 HTML-страниц. Прелесть этой системы в том, что, если пользователь переходит через Google на эту HTML-страницу, как только он начинает перемещаться по сайту, он сразу возвращается к версии PHP.

Моя проблема с этим методом в том, что мне пришлось бы добавлять .html на мои красивые чистые URL-адреса ...

example.com/products/category/some-product-name.html

Я поступаю неправильно?

Редактировать 1: Я хочу сократить накладные расходы на PHP и MySQL. Создание страниц HTML - это всего лишь метод кэширования при подготовке всплеска нагрузки, когда поисковые системы сканируют эти страницы. Есть ли лучшие способы?

Answer 1

Вам не нужно беспокоиться о 10000 новых ссылках, но вы можете проанализировать свой текущий трафик Google, чтобы увидеть, как быстро Google будет их сканировать. Кэширование всегда хорошая идея (см .: Memcache или даже генерировать статические файлы?).

Например, в настоящее время я получаю около 5 запросов в секунду от googlebot, что означает, что google будет сканировать эти 10000 страниц за полчаса, но учтите это:

1. Перенаправить все существующие ссылки в новые местоположения

   Делая это, вы гарантируете, что ссылки, уже проиндексированные Google и другими поисковыми системами, почти сразу же переписываются. Текущий рейтинг Google переносится на новую ссылку (дополнительные ссылки начинаются с 0).

2. Google Analytics

   Мы заметили, что Google использует данные Google Analytics для сканирования страниц, которые обычно не обнаруживаются при обычном сканировании (перенаправления javascript, ссылки на пользовательский контент). Скорее всего, Google очень быстро обнаружит изменение URL-адреса, но см. 1).

3. Карта сайта

   Практическое правило для файлов карты сайта в нашем случае заключается только в том, чтобы постоянно обновлять их новейшим контентом. Хранить 10000 ссылок, или даже все ваши ссылки там, довольно бессмысленно. Как вы обновите этот файл?

---

Это отношения любви и ненависти ко мне и Google Crawler в эти дни, так как большинство используемых пользователями ссылок довольно хорошо кэшируются, но Google Crawler сканирует их обычно не так. Это причина, по которой Google вызывает 6-кратную загрузку в 1/6 запросов.

Answer 2

Если я что-то упустил, думаю, вам не нужно об этом беспокоиться. Я предполагаю, что ваш список названий продуктов не меняет все , что часто - в масштабе дня или около того, не каждую секунду. Карта сайта Google должна читаться в секунду или меньше, и сканер не будет сканировать вас мгновенно после обновления. Я бы попробовал это без каких-либо осложнений и измерил бы эффект, прежде чем оптимизировать вашу шею.

Answer 3

Я обеспокоен эффектом от предоставления 10000 новых URL-адресов для Google, должен ли я быть?

Производительность влияет на серверы Google? Я бы не волновался об этом.

Производительность влияет на ваши собственные серверы? Я бы тоже об этом не беспокоился. Я сомневаюсь, что вы получите гораздо больше трафика, чем раньше, просто отправляете его по разным URL-адресам.

Answer 4

Не ответ на ваш главный вопрос.

Вам не нужно добавлять .html. Вы можете оставить URL-адреса как есть. Если вы не можете найти лучший способ перенаправления в html-файл (у которого нет суффикса .html), вы можете вывести его через PHP с помощью readfile .