Не удается разобрать заголовки Google с помощью python urllib - PullRequest
Новая
       9

Не удается разобрать заголовки Google с помощью python urllib

0 голосов
/ 02 ноября 2019

Я не могу разобрать результаты поиска Gooogle: 

def extracter(url,key,change):
    if " " in key:
        key=key.replace(" ",str(change))
    url=url+str(key)
    response=ur.Request(url, headers={'User-Agent': 'Mozilla/5.0'})
    sauce =ur.urlopen(response).read()
    soup=bs(sauce,"html.parser")
    return soup    

def google(keyword):
    soup = extracter("https://www.google.com/search?q=",str(keyword),"+")
    search_result = soup.findAll("h3",attrs={"class":"LC20lb"})
    print(search_result)
google("tony stark")

Вывод: 

[]

1 Ответ

1 голос
/ 02 ноября 2019

Я просто изменил заголовки, и это сработало: 

headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.3; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.71 Safari/537.36'}

Результат: 

[<h3 class="LC20lb"><span dir="ltr">Tony Stark (Marvel Cinematic Universe) - Wikipedia</span></h3>, <h3 class="LC20lb"><span dir="ltr">Tony Stark / Iron Man - Wikipedia</span></h3>, <h3 class="LC20lb"><span dir="ltr">Iron Man | Marvel Cinematic Universe Wiki | FANDOM ...</span></h3>, <h3 class="LC20lb"><span dir="ltr">Tony Stark (Earth-199999) | Iron Man Wiki | FANDOM ...</span></h3>, <h3 class="LC20lb"><span dir="ltr">Is Tony Stark Alive As AI? Marvel Fans Say Tony Stark ...</span></h3>, <h3 class="LC20lb"><span dir="ltr">'Avengers: Endgame' Might Not Have Been the End of Tony ...</span></h3>, <h3 class="LC20lb"><span dir="ltr">Robert Downey Jr to RETURN to MCU as AI Tony Stark - ...</span></h3>, <h3 class="LC20lb"><span dir="ltr">Avengers Endgame theory: Tony Stark is backed up as AI ...</span></h3>]
...