Я начал создавать свой сайт 6 месяцев назад.
- Так как я начал до сих пор в течение 6 месяцев. Робот Google продолжает сканировать несуществующую страницу на моем сайте. Googlebot случайным образом генерирует эти ссылки. Они обращались к сотням тысячам из них в день.
- Я подтвердил, что это робот Google.
- С первого дня я оставил эти несуществующие страницы с заголовком 404.
- 6 месяцев спустя, ситуация немного не изменилась. Робот Googlebot по-прежнему сканирует несуществующую случайно сгенерированную страницу с той же скоростью.
Структура ссылки на несуществующую страницу: mydomain / installa / {random-string}
пример:
MYDOMAIN / МОНТАЖ / jfjdk-Ура-го-kfjurru
MYDOMAIN / МОНТАЖ / jfj-Уру-ср-iehf72
MYDOMAIN / МОНТАЖ / DSDS-RW3-wwewed-2332jh * +1021 *
Обратите внимание, что я не использую каталог / installa / на своем сайте ни в фоновой папке, ни на URL сайта.
Проблема в том, когда я разместил реальное сообщение на моем сайте. Этот пост занял бы целую вечность, чтобы быть проиндексированным, обнаружив googlebot.
Если я вручную отправил свое сообщение в консоль Google, чтобы получить индекс, это другая тема, и моя страница была проиндексирована. Но я подозреваю, что все мои проблемы подпадают под описанные выше проблемы.
Может кто-нибудь помочь мне или указать мне правильное направление в том, что происходит? На моем сайте что-то не так, что потенциально может вызвать / installa /?
есть ли плагин Wordpress, который я могу использовать для отслеживания того, как googlebot получает доступ к моему сайту?
Пожалуйста, помогите мне решить эту проблему, похоже, эта проблема в настоящее время влияет на рейтинг моего сайта.
Спасибо