Вернуть версию Google Desktop с помощью Scrapy - PullRequest
0 голосов
/ 02 апреля 2020

Как я могу получить версию Google Desktop с помощью Scrapy?

Проблема заключается в следующем: когда вы переходите на Google, вы получаете мобильную версию. Итак, я настроил пользовательский агент, но теперь возвращает странный html, как в мобильной версии.

import scrapy

class Searcher(scrapy.Spider):
    name='rast'
    start_urls=[
        'https://google.com/search?q=lawyers'
    ]
    user_agent='Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.149 Safari/537.36'

    def parse(self, response):
        data={}

        body=response.css('div').getall()

        data['body']=body

        yield data

С Selenium / Requests это легко, но я читал, что правильный способ сайты бракованы с помощью Scrapy.

И кстати, мне нужна версия для ПК, потому что Google дает несколько смелых терминов, называемых вариациями ключевых слов.

Спасибо!

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...