Лучший способ идентифицировать Googlebot

Question

Какой самый надежный и быстрый способ определить сканер Googlebot? rDNS может быть подделан, поэтому список ip googlebot выглядит наиболее надежным способом. Существуют ли какие-либо сайты / ресурсы, где можно получить реальные ips от googlebot? Любые другие идеи приветствуются.

Answer 1

Если вы действительно хотите, чтобы IP-адрес был жестко закодирован (я бы не рекомендовал его, поскольку он может измениться в любое время и без уведомления), здесь доступен список здесь . Что я бы порекомендовал (а также, что рекомендуется в блоге Goggle Webmaster ), так это сделать обратный DNS, а затем прямой DNS, чтобы проверить это. Это всегда должно работать и не может быть подделано.

Answer 2

бот Google использует следующие диапазоны -

• 203.208.60.0 / 24,
• 66,249,64,0 / 20,
• 2001: 4860: 4801: 2: 6b00: 6006: 1300: b075
• 2001: 4860: 4801: 5: 1000: 6006: 1300: b075
• 2001: 4860: 4801: 6: e300: 6006: 1300: b075
• 2001: 4860: 4801: 2001 :: 6006: 1300: b075
• 2001: 4860: 4801: 2002 :: 6006: 1300: b075

Больше информации здесь -

http://myip.ms/info/bots/Google_Bing_Yahoo_Facebook_etc_Bot_IP_Addresses.html