Я пытаюсь решить проблему, из-за которой робот Googlebot поглощает использование моего процессора. Чтобы подтвердить свои предположения, я изменил файл robots.txt в папке root на моем веб-сайте, добавив в нее
Disallow: /
. У меня есть два веб-сайта на разных серверах, оба из которых имеют эту проблему. Так что для одного из них, после того как я отредактировал robots.txt, загрузка ЦП упала до нормального уровня, для другого я вижу из apache журнала доступа, что робот Google все еще входит.
Итак, я go в поисковую консоль Google для тестирования robots.txt. Во-первых, я вижу, что Google уже обнаружил последний файл robots.txt и прекратил сканирование моего сайта; Для второго Google все еще использует старую версию robots.txt. Таким образом, изменение robots.txt не всегда вступает в силу немедленно, я прав? И если да, то как мне сообщить в Google, что у меня новый файл robots.txt?