Получить результаты поиска Google и Yandex

Question

Я хочу проанализировать результаты поиска google и yandex для моей маленькой утилиты анализатора веб-сайтов. поэтому я должен отправлять сотни запросов в минуту. Какова хорошая практика для этого вопроса? Является ли Google Search API хорошим способом?

Answer 1

API поиска Google нельзя использовать для ботов. Google заблокирует вашу утилиту, если вы запросите слишком много запросов.

http://code.google.com/apis/ajaxsearch/terms.html

Вы соглашаетесь с тем, что при использовании Сервиса Вы не будете и не разрешаете пользователям или другим третьим лицам:

Используйте любого робота, паука, приложение для поиска / поиска по сайту или другое устройство для извлечения или индексирования любой части результатов поиска Google или для сбора информации о пользователях в любых несанкционированных целях;