Робот Google запросит любой известный ему URL-адрес, включая URL-адреса, которые вы, возможно, не создали самостоятельно.
Например, если есть форум, который ссылается на ваш сайт с этим URI, робот Googlebot попытается просканировать его, чтобы увидеть, есть ли какая-либо информация, достойная индексации.
На основании предоставленного IP-адреса я подтвердил, что это действительно робот Google, поскольку обратный поиск DNS разрешается в «crawl-66-249-68-184.googlebot.com», а прямой поиск DNS для «crawl-66-249-». 68-184.googlebot.com 'преобразуется обратно в указанный IP-адрес.
Лучшее, что вы можете сделать, это ответить 404 или 410, если эта страница не существует. Если у вас есть представление о том, какой контент был раньше, вы должны 301 перенаправить его на соответствующую страницу вашего сайта на тот случай, если другие люди ссылались на эти страницы ... вы не только хотите сохранить ссылку на эти ссылки. , но также это просто лучший пользовательский опыт для пользователей, которые перешли по этой ссылке. Если не существует подходящего места для перенаправления пользователей 301, вы можете перенаправить их на свою домашнюю страницу, но просто знайте, что с точки зрения SEO значение ссылки будет снижаться, поскольку релевантность ссылок, вероятно, не будет точно соответствовать содержание вашей домашней страницы.
Обязательно убедитесь, что вы не отвечаете с кодом ответа 500 или 503. Если у вас большое количество ответов типа 5xx, робот Google подумает, что он слишком сильно воздействует на ваш сайт, и снизит скорость сканирования.
Наконец, даже если вы наберете 301, 404 или отправите ответ 410 ... ожидайте, что робот Google покажет эти URL-адреса в течение некоторого времени (например, даже через несколько лет). У меня есть сайты, которые получают поток трафика Googlebot для давно устаревших URI каждые несколько недель. Там есть несколько старых хрустящих URL, и робот Googlebot будет время от времени перебирать их, а затем пытаться переписать их. Они даже хранят исторический список, который они будут пытаться сканировать, когда чувствуют, что у них есть дополнительная пропускная способность, чтобы выделить их вашему сайту.
TL; DR: Не парься. Робот Google будет попадать по этим ссылкам без веской причины. Просто отправьте ответ, который будет наилучшим для пользователей, и все будет в порядке.