Я работаю над сайтом buydirectonline.com.au, который раньше сканировался без проблем. Все основные поисковые системы проиндексировали его, и кричащая лягушка могла сканировать сайт без проблем.
Однако внезапно кричащая лягушка возвращает ошибку 403, и сайт индексируется во всех основных поисковых системах.
Я проверил очевидное:
- robots.txt
- поиск консольных сообщений / проблем
- файл htaccess
Кажется, ничего не изменилось, все, как было, когда сайт сканировался правильно.
У кого-нибудь есть идеи, что мне следует попробовать / исследовать дальше?
Заранее спасибо!