По сути, я учусь использовать Scrapy и пытаюсь понять, как работают пауки, но я не смог почистить этот сайт ('https://www.mismarcadores.com/baloncesto/')
Когда я scrapy view "https://www.mismarcadores.com/baloncesto/"
вижу, что видит мой паук, я не вижу html, где появляются все игры.
Как мне эмулировать запрос обычного человека, чтобы мой паук мог его очистить?
Это мой код паука, он очень прост, но я на самом деле изучаю основы:
import scrapy
class BasketSpider(scrapy.Spider):
name = "basket"
start_urls = [
'https://www.mismarcadores.com/baloncesto/',
]
def parse(self, response):
for basket in response.css('div.leagues--live'):
yield {
'event_time': basket.css('div.event__time::text').getall(),
'home_team': basket.css('div.event__participant event__participant--home::text').getall(),
'away_team': basket.css('div.event__participant event__participant--away::text').getall(),
}