Ошибки Webmaster Tools Crawler 403

Question

Инструменты Google для веб-мастеров сообщают о 403 ошибках для некоторых папок на сервере веб-сайтов, например:

http://www.philaletheians.co.uk/Study%20notes/

Папка не запрещена, поэтому не понимаете, почему это будет 403 ошибки для Googles Crawler?

Почему Google Crawler пытается просматривать реальные папки, а не просто переходить к файлам в этой папке? Это связано с robots.txt?

Answer 1

Убедитесь, что есть какое-то фактическое место или документ, который должен присутствовать, если кто-то запросит этот URL. Я просмотрел ваш сайт и не смог найти ссылку на http://www.philaletheians.co.uk/Study%20notes/ Также кажется, что все заметки об исследованиях находятся внутри этого каталога «Study% 20notes». Так что эта ссылка не будет работать в любом случае. Так что посмотрите ссылку на инструменты Google Web Master Tools, чтобы найти, где находится эта неработающая ссылка, и вылечить ее.

Answer 2

Правильно ли вы установили документ по умолчанию на своем веб-сервере?В apache это происходит в параметре DirectoryIndex (по умолчанию используется index.html).Кроме того, в целом, возможно, было бы лучше убрать пробелы и т. Д. Из имен перемещаемых каталогов (% 20, который вы видите между Study и notes - символ пробела в кодировке URL), чтобы ваши URL-адреса были чистыми для ваших посетителей.и поисковые боты.