Извлечь перенаправления результатов поиска Google

Question

Я прочитал несколько сообщений от stackoverflow о том, как извлечь URL-адреса результатов поиска Google , и написал аналогичную реализацию, используя python, curl и beautifulsoup.

У меня вопрос, какя могу извлечь ссылки перенаправления Google (например, когда вы щелкнете правой кнопкой мыши по результату и выберете «Копировать местоположение ссылки»)?

Answer 1

Google сделал страницу результатов интерактивной через ajax. Поэтому BeautifulSoup не сможет извлекать ссылки напрямую. Я предлагаю сначала прочитать страницу в строку, чтобы в ней был весь HTML, чем вы можете использовать BeautifulSoup для извлечения ссылок.