Ошибки Google Crawl - недостижимая ошибка - PullRequest
0 голосов
/ 07 марта 2011

Мой сайт был успешно проверен на соответствие Google Webmaster. Мой доступ для сканера с помощью robot.txt также равен 200 (успех). Однако, когда я проверяю «Ошибки сканирования», почти каждая страница «недоступна», включая саму главную страницу домена. Единственная страница, которая сканируется без ошибок, это страница вложения / файла (например, pdf, xls, jpg и т. Д.). Это действительно странно.

Моя сеть создана Ruby on Rails и использует базу данных MySQL.

1 Ответ

1 голос
/ 07 марта 2011

Рендеринг страниц занимает много времени? Я подозреваю, что сканер Google сдается, если страница слишком долго отвечает. Рассмотрите возможность размещения Varnish перед общедоступными страницами, которые дороги и не содержат никакого пользовательского или динамического контента?

...