улучшит ли мой рейтинг SEO ограничение динамических URL с robots.txt?

Question

На моем сайте около 200 полезных статей. Поскольку на веб-сайте есть внутренняя функция поиска с большим количеством параметров, поисковые системы в конечном итоге приводят URL-адреса со всеми возможными перестановками дополнительных параметров, таких как теги, поисковые фразы, версии, даты и т. Д. Большинство этих страниц - просто список результатов поиска с некоторыми фрагментами оригинальных статей.

Согласно инструментам Google для веб-мастеров, Google пропустил только около 150 из 200 записей в XML-карте сайта. Похоже, что Google еще не видел весь контент спустя годы после выхода в сеть.

Я планирую добавить несколько строк «Disallow:» в robots.txt, чтобы поисковые системы больше не паукали эти динамические URL. Кроме того, я планирую отключить некоторые параметры URL в разделе «Конфигурация сайта» -> «Параметр URL» для веб-мастеров.

Это улучшит или повредит мой текущий рейтинг SEO? Это будет выглядеть так, как будто мой сайт теряет тысячи страниц контента.

Answer 1

Это как раз то, для чего канонические URL предназначены. Если одна страница (например, статья) может быть достигнута более чем одним URL-адресом, вам необходимо указать основной URL-адрес с помощью канонического URL-адреса. Это предотвращает повторяющиеся проблемы с контентом и сообщает Google, какой URL отображать в результатах поиска.

Так что не блокируйте свои статьи, и вам не нужно вводить никаких параметров. Просто используйте канонические URL-адреса, и все будет в порядке.

Answer 2

Как отметил nn4l, каноническое не является хорошим решением для поисковых страниц.

Первое, что вы должны сделать, это добавить на страницы результатов поиска метатег роботов с надписью noindex. Это поможет удалить их из вашего индекса и позволить Google сосредоточиться на вашем реальном контенте. Google должен медленно удалять их по мере их повторного сканирования.

Другие меры:

В GWMT сообщите Google игнорировать все эти параметры поиска. Просто пластырь, но может помочь ускорить восстановление.

Не блокируйте страницу поиска в файле robots.txt, так как это заблокирует роботов от сканирования и чистого удаления уже проиндексированных страниц. Подождите, пока ваш индекс не очистится, прежде чем делать полный блок, как этот.

Ваша поисковая система должна основываться на ссылках (тегах) или формах, основанных на GET, а не на формах, основанных на POST. Вот почему они были проиндексированы. Переключение их на формы на основе POST должно помешать роботам пытаться проиндексировать эти страницы. JavaScript или AJAX - это еще один способ сделать это.