Как узнать, когда Google последний раз сканировал - PullRequest
Новая
       11

Как узнать, когда Google последний раз сканировал

1 голос
/ 01 декабря 2009

Я хотел бы узнать, какова текущая кэшированная копия Google большого набора страниц. Я думаю, что мне нужно

  1. посмотрите в логах IP-адреса,
  2. проверьте, чтобы найти user-agent "googlebot", затем
  3. экспорт списка, в котором говорится о каждой странице и времени ее последнего посещения.

Я предполагаю, что это может быть работа cron, которая выполняется еженедельно. Если это правильно, как бы я написал сценарий? Если это не так, что может быть лучше?

Ответы [ 3 ]

3 голосов
/ 01 декабря 2009

Google уже предоставляет эту информацию через Google SiteMaps . Я использовал его в течение последних трех лет - прекрасно работает.

Добавьте ваш сайт в SiteMaps и поместите сгенерированный XML SiteMap вашего сайта (Google для веб-сайтов, которые предоставляют это бесплатно) на ваш веб-сервер, а затем позвольте Google сделать все остальное. В SiteMaps есть раздел под названием Статистика сканирования , который дает вам то, что вы хотите.

Просмотр Google вашего сайта и диагностика проблем

Посмотрите, как Google сканирует и индексирует ваши сайт и узнать о конкретных проблемах у нас есть доступ к нему.

Найдите вашу ссылку и запросите трафик

Просмотр, классификация и загрузка исчерпывающие данные о внутренних и внешние ссылки на ваш сайт с новыми инструменты отчетности по ссылкам. Узнайте, какие Поисковые запросы Google привлекают трафик к ваш сайт, и посмотреть, как именно пользователи прибыть туда

Поделиться информацией о вашем сайте

Расскажите нам о своих страницах с Файлы Sitemap: какие из них наиболее важно для вас и как часто они менять. Вы также можете дать нам знать, как Вы хотели бы, чтобы URL-адреса мы индексировали появляются.

2 голосов
/ 01 декабря 2009

В этом нет необходимости, вы можете позвонить в сервисную службу Google, чтобы найти кэшированную страницу, то есть выполнить поиск cache: stackoverflow.com , который включает время и дату. Я не удивлюсь, если вызов API будет делать это более напрямую (обновление: Google Search API ).

0 голосов
/ 27 декабря 2009

Последний доступ к Googlebot также можно бесплатно найти на некоторых сайтах, таких как mypagerank.net или панель инструментов Google.

...