Проверьте, проиндексирован ли URL Google с помощью PHP

Question

Хотелось бы узнать, можно ли проверить, проиндексирован ли URL Google с помощью PHP.

Это против их ToS?

Answer 1

Вы можете прочитать здесь (соответствующая цитата ниже), чтобы получить ответ на этот вопрос.По сути, без ключа API и их разрешения это, вероятно, не очень хорошая идея.Тем не менее, из-за объема, который они обрабатывают, вам, возможно, удастся избежать неприятностей, если вы не выполняете TONS запросов.

Проверка PageRank - это то, что люди часто пытаются сделать, но они этого не делают.Не придавайте большого значения этой заслуге (по слухам), и действительно трудно найти ключи API старого стиля.

Не используйте неавторизованные компьютерные программы для отправки страниц, проверки рейтинга и т. д.Такие программы потребляют вычислительные ресурсы и нарушают наши Условия предоставления услуг .Google не рекомендует использовать такие продукты, как WebPosition Gold ™, которые отправляют в Google автоматические или программные запросы.

Answer 2

Делать это без API против TOS. Для малого объема вы можете:

// CHECK IF PAGE IS IN GOOGLE INDEX
$domain = 'stackexchange.com';
if (strstr(file_get_contents("http://www.google.com/search?q=site:$domain"), 'did not match any documents')) {
  // Page is not in the index
  print 'No Go!';
}
else {
  print 'All Good!';
}
exit;

Answer 3

Ну, не явно.Но вы можете проверить каждый просмотр страницы, используя:

$agent = $_SERVER['HTTP_USER_AGENT'];

if (strstr($agent, 'googlebot')){

  // tell the database that google has crawled this page.
}

Answer 4

Для польского языка вы должны попробовать проверить между UTF-8 и ISO-8859-2 следующим образом:

$encAry = array('ISO-8859-2', 'UTF-8');
$contentEncoding = mb_detect_encoding( $content, $encAry );
$googleSearchResult = mb_convert_encoding($content, 'UTF-8', $contentEncoding);

Работает для меня.