Получить все URL из интернета, связанные с данным ключевым словом, используя Python

Question

Я учусь соскоб с использованием BeautifulSoup. Я хочу получить из Интернета все доступные URL-адреса, связанные с ключевым словом.

Есть ли способ сделать это?

Answer 1

Вы можете использовать библиотеку запросов Python для поиска в Google. Установить запросы по pip install requests Вы можете использовать Google для поиска чего-либо и проанализировать результат с Beautifulsoup. Следующий код выполняет поиск в Google по query, а после этого BeautifulSoup используется для получения URL-адресов, возвращаемых Google.

import requests
import urllib
from bs4 import BeautifulSoup

query = 'any search term'


r = requests.get('https://www.google.com/search?q={}'.format(query))
soup = BeautifulSoup(r.text, "html.parser")
links = []
for item in soup.find_all('h3', attrs={'class' : 'r'}):
    links.append(item.a['href'])

print(links)