Использование BeautifulSoup для очистки URL-адресов из поиска Google

Question

Мой код

import urllib
from bs4 import BeautifulSoup
import requests
import webbrowser

text = 'LastName, FirstName'
text = urllib.parse.quote_plus(text)

url = 'https://google.com/search?q=' + text

response = requests.get(url)

Я хочу получить URL первого результата поиска, как мне поступить?

Answer 1

Возможно, вы захотите рассмотреть для этой задачи:

import urllib
from bs4 import BeautifulSoup
from selenium import webdriver


text = 'LastName, FirstName'
text = urllib.parse.quote_plus(text)

url = 'https://google.com/search?q=' + text

driver = webdriver.Firefox()
driver.get(url)

soup = BeautifulSoup(driver.page_source)
results_links = soup.find('div',{'class':'srg'}).find_all("a")
print(results_links[0].get('href'))

вывод:

https://www.quora.com/What-is-meant-by-first-name-and-last-name