Есть ли способ узнать, когда googlebot / bingbot / yahoobot сканирует мой сайт в asp.net 2005 IIS6?

Question

Я хочу знать, когда Google сканирует сайт, желательно отправив себе электронное письмо.

Есть ли способ сделать это, что не повлияет на производительность?

Answer 1

Ваши лог-файлы IIS (обычно в c:\windows\system32\logfiles ...) покажут вам, когда пауки просканировали ваш сайт. Просто убедитесь, что вы включили ведение журнала и что вы входите в браузер / пользовательский агент. Агент браузера - это строка, которая содержит, помимо прочего, имя веб-браузера / бота / независимо от того, что запрашивало страницу. Большинство записей очевидны при визуальном осмотре (например, googlebot содержит строку "googlebot").

Если вы хотите получать уведомления, у меня будет задание, которое будет запускаться каждые пятнадцать или двадцать минут, сканировать ваши записи в журнале после последнего сканирования и отправлять вам электронные письма о совпадении с образцом, как предлагал предыдущий респондент.

Answer 2

Пользовательский агент идентифицирует себя как gsa-crawler / Googlebot в зависимости от устройства Google или Google. Вы можете написать некоторый код (Request.ServerVariables("HTTP_USER_AGENT")), который отслеживает это или анализирует файлы журнала IIS.

Возможно, вы захотите убедиться, что бот действительно является Google - это что-то, на что следует обратить внимание .

Я бы выбрал root для веб-приложения, если вам нужно электронное письмо для рассылки как можно скорее, и файл анализирует root, если вы можете подождать немного дольше.