У меня есть бесплатный сайт, который использует Byethost, который использует услуги хостинга iFastnet.В течение некоторого времени мой сайт стал «деиндексируемым» google, потому что он по какой-то причине не может получить какой-либо аспект моего сайта.Я могу получить доступ к своему сайту без проблем в любом веб-браузере, и я не изменил код для сайта.Мой robots.txt даже имеет значение
User-agent: *
Allow: /
Как ни странно, инструмент структурированных данных Google способен извлекать любую страницу, но любой другой аспект сканера Google не может получить ресурсы с сайта.
Например, при тестировании robots.txt через Google, он говорит:
You have a robots.txt file that we are currently unable to fetch. In such cases we stop crawling your site until we get hold of a robots.txt, or fall back to the last known good robots.txt file. Learn more.
Очевидно, что Google каким-то образом блокируется, прежде чем он может даже добраться до сервера и загрузить ресурс robots.txt.
Когда я отбираю сайт со своего компьютера, он также поражает меня ошибкой 403.Но когда я пытаюсь свернуть копию сайта на частном сервере, он возвращает страницу без проблем. Конечно, это должно быть связано с проблемой Google.
Но у меня нет .htaccess или каких-либо функций безопасности, таких как включение черного списка IP-адресов, так что это очень запутанно.
В моем бесплатном плане с byethost также не должно быть cloudflare, поскольку это расширенная функция.
Может ли кто-нибудь рассказать, почему я получаю эти 403 ошибки?Это та же самая причина, почему Google больше не может получить доступ к сайту?Как я могу это исправить?
Спасибо