Посмотрите, как Google воспринимает наш сайт в данный момент, и в скором времени ...
В основном, мы используем стандартную структуру переписывания URL, чтобы они выглядели оптимизированными для SEO.
например, URL продукта принимает форму any string_([0-9]).html и так далее. конечно, это позволяет нам ссылаться на все, что мы хотим, перед идентификатором продукта ... который мы сделали. В прошлом страница продукта была Product_Name_79.html, а затем стала Brand_Name_Product_Name_79.html. apache на самом деле не волнует, и id 79 передается в любом случае. Тем не менее, в Google теперь есть 2 версии этого продукта, которые кэшируются под разными URL-адресами - и это не очень хорошая вещь, так как он продолжает приходить к первому URL-адресу и пауковать его.
То же самое относится к нашим правилам переписывания для брендов и категорий, некоторые из которых были удалены, а некоторые были изменены.
в site:domain содержится более 11 тысяч URL, тогда как наша карта сайта получает только 5,8 тысяч. как бы вы запретили паукам получать старые версии URL-адресов, на которые вы больше не ссылаетесь (учитывая, что это не ручной процесс, и часто такие URL-адреса могут быть очень динамичными).
Например, Mens_Merrell_Trail_Running_Shoes__50-100__10____024/ - это динамический URL-адрес для бренда merrell, суженный по элементам в trail running shoes, которые стоят от 50 and 100 до size 10 с полом, установленным на men's.
если мы решим nofollow URL-адреса фильтров любого размера и денег, это оставляет Google по-прежнему возможность доступа к ним через старый кеш ...
Какова лучшая практика для запрета определенного типа URL? Поскольку приведенные выше комбинации почти бесконечны, я не могу составить список, и его нельзя сопоставить с тем, какие бренды и категории Google могли хранить для нас исторически.
добавим ли мы noindex при применении таких фильтров? мы экспортируем их в robots.txt? ничего не делать в надежде, что гугл перестанет возвращаться?
Если посмотреть в перспективе, у нас есть 2600 URL-адресов страниц продуктов, которые теперь избыточны / отключены. Что бы вы сделали с ними? перенаправление на домашнюю страницу, на страницу бренда, 404, ничего не делать?
спасибо за любой совет