В последнем отчете я вижу, что у нас много ссылок на robots.txt в путях подпапок. Вот несколько путей. скороговорки выглядят как
/ {путь} /robots.txt
/{path}/{subpath}/robots.txt
, что приводит к 404. У нас есть robots.txt в корне.
Я хотел знать, нужно ли обновлять мой robots.txt, чтобы запретить /*/robots.txt ИЛИ
установить перенаправление 301 для всех ссылок robots.txt, которые будут перенаправлены в root.