Получение URL-адресов и заголовков из поиска Google

Question

Какой самый простой способ получить URL-адреса и заголовки из заданного поискового запроса Google?Я хочу сделать это только один раз, с определенным термином, и я хочу получить все URL / заголовки, а не первые 10. Если есть способ получить ответ с разделителями (например, в формате CSV), который был бы идеальным.

Я не пытаюсь изобретать велосипед, но, если это необходимо, я играю для этого (я на Windows box и могу писать сценарии на PHP).Я просто ищу самый быстрый, самый надежный и распространенный способ сделать это ..

Обновление: Пока что предложения, похоже, требуют скромного количества кода, как для анализа HTML /XML, и циклически перебирать наборы результатов (поднимая переменную start, нажимая «next»).Не существует ли существующей программы, которая бы быстро это сделала?

Answer 1

Есть много способов сделать это.Вы говорите, что знаете PHP, так почему бы не использовать cURL и некоторые регулярные выражения?

<?php
$c = curl_init();
curl_setopt($c, CURLOPT_URL, "http://www.google.com/search?q=[search term here]&start=0");
curl_setopt($c, CURLOPT_RETURNTRANSFER, 1);
$data = curl_exec($c);
curl_close($c);
?>

Полученный источник будет в $ data.С этого момента вы можете использовать preg_match () , чтобы собрать нужные URL-адреса и сохранить их в массиве.В качестве альтернативы вы можете попробовать XML-парсер для более чистого подхода.

Обратите внимание, что вы можете изменить start = 0, чтобы получить дополнительные результаты.

Answer 2

Вы можете вернуть данные XML из поиска Google:

Выезд http://www.google.com/cse/docs/resultsxml.html#XML_Results_for_Regular_and_Advanced_Search_Queries