Я «работаю» над проектом по извлечению данных и решил проанализировать результаты поиска Google.Теперь, прежде чем я действительно начну, я хочу проконсультироваться с вами - опытными людьми.Я провел небольшое исследование о том, как Google предоставляет результаты, и проанализировал структуру страницы результатов.Все в порядке, я уже понял, какие регулярные выражения и структуры данных я буду использовать.
Между ними я обнаружил их CAPTCHA , потому что я искал слишком быстро;о, ирония.Я также обнаружил, что они ограничивают результаты до 1000 на самом деле.Теперь, есть ли какой-нибудь способ, которым я мог бы избежать этих перипетий, возможно, замедляя скорость url выборки, чтобы решить первую или сообщая при обнаружении CAPTCHA , чтобы она ждала моего ввода;это может сделать это, но как насчет другого?Предоставляет ли Google какой-то API, который я могу использовать для обхода проблемы?Я не смог найти ни одного в их коде. * Page.