У меня есть сайт агрегации новостей с тоннами новостей ...
если в одной новости на главной странице есть текст, тогда ссылка с перенаправлением на сайт источника www.site.com/red/23545, но если в той же новости не было текста, только заголовок, она получает эту ссылку который не является редиректом и идет на другую страницу на моем сайте www.site.com/23545/some_news_title
Таким образом, на некоторых страницах одни и те же новости могут быть с текстом, а затем перенаправляться на исходную страницу или на некоторые страницы только с заголовком и получать обычную ссылку на страницу сайта.
Проблема в том, что Google индексирует ссылки перенаправления (www.site.com/red/23545).
Я добавил
Disallow: /red/
на мой robots.txt
и я тоже добавил
rel="nofollow"
ко всем ссылкам перенаправления
но ни один из них не работал ... он все еще проиндексирован ...
Причина, по которой я использую ссылку для перенаправления, состоит в том, чтобы предотвратить скриншот моего сайта. Если кто-то перейдет по ссылке для перенаправления без моего домена в качестве реферера, он будет перенаправлен на мою страницу, а не на страницу источника новостей. ..
Любая помощь будет оценена.
Спасибо!