Как получить текстовые данные из информационной панели поиска Google

Question

Мне нужно получить текстовые данные из информационной панели поисковой системы Google.Если кто-то использует ключевое слово "siemens" для поиска в поисковой системе Google.Небольшая информационная панель появляется справа от результатов поиска Google.Я хочу собрать некоторую текстовую информацию для этой информационной панели.Как я могу сделать это, используя запросы и Beautifulsoup.вот некоторые по коду я пишу.

from bs4 import BeautifulSoup as BS
import requests
from googlesearch import search
from googleapiclient.discovery import build

url = 'https://www.google.com/search?ei=j-iKXNDxDMPdwALdwofACg&q='


com = 'siemens'

#for url in search(com, tld='de', lang='de', stop=10):
#    print(url)

response = requests.get(url+com)
soup = BS(response.content, 'html.parser')

Область, отмеченная красным, - информационная панель

Answer 1

Вы можете использовать функцию поиска в BeautifuLSoup, чтобы получить все элементы с заданным именем класса, идентификатором, селектором CSS, xpath и т. Д. Если вы просматриваете информационную панель (щелкните правой кнопкой мыши по ней и дайте 'inspect'), вы можете найтиуникальное имя класса или идентификатор для этой панели.Используйте это, чтобы отфильтровать только информационную панель из всего вашего html-кода, проанализированного BeautifulSoup.

Проверьте find () и findall () в BeautifulSoup, чтобы получить результат.Всегда сначала ищите по идентификатору, так как каждый идентификатор уникален для элемента html.Если для этого нет идентификатора, перейдите к другим параметрам.

Чтобы получить URL-адрес, используйте google.com/search?q= [] с поисковым запросом внутри [].Для запросов, содержащих более одного слова, используйте символ «+» между