Как я могу подражать запросу нормального человека с помощью Scrapy? - PullRequest
0 голосов
/ 10 марта 2020

По сути, я учусь использовать Scrapy и пытаюсь понять, как работают пауки, но я не смог почистить этот сайт ('https://www.mismarcadores.com/baloncesto/')

Когда я scrapy view "https://www.mismarcadores.com/baloncesto/" вижу, что видит мой паук, я не вижу html, где появляются все игры.

Как мне эмулировать запрос обычного человека, чтобы мой паук мог его очистить?

Это мой код паука, он очень прост, но я на самом деле изучаю основы:

import scrapy

class BasketSpider(scrapy.Spider):
    name = "basket"
    start_urls = [
        'https://www.mismarcadores.com/baloncesto/',
    ]

    def parse(self, response):
        for basket in response.css('div.leagues--live'):
            yield {
                'event_time': basket.css('div.event__time::text').getall(),
                'home_team': basket.css('div.event__participant event__participant--home::text').getall(),
                'away_team': basket.css('div.event__participant event__participant--away::text').getall(),
            }
...