Как я могу получить версию Google Desktop с помощью Scrapy?
Проблема заключается в следующем: когда вы переходите на Google, вы получаете мобильную версию. Итак, я настроил пользовательский агент, но теперь возвращает странный html, как в мобильной версии.
import scrapy
class Searcher(scrapy.Spider):
name='rast'
start_urls=[
'https://google.com/search?q=lawyers'
]
user_agent='Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.149 Safari/537.36'
def parse(self, response):
data={}
body=response.css('div').getall()
data['body']=body
yield data
С Selenium / Requests это легко, но я читал, что правильный способ сайты бракованы с помощью Scrapy.
И кстати, мне нужна версия для ПК, потому что Google дает несколько смелых терминов, называемых вариациями ключевых слов.
Спасибо!