Я думаю, что я делаю все правильно, но Google, похоже, все еще попадает на эти страницы, как показано ниже, я вижу, что robots.txt доступен. в журнале написано
Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html
как мне остановить ботов !!?
/feed/?id=example
Мой файл robots.txt
User-agent: Googlebot
Disallow: /feed/