Я довольно новичок в Scrapy, но я разрабатываю веб-скрап для получения определенной информации от GoFundMe, в частности, в данном случае, количества людей, которые пожертвовали на проект. Я написал заявление xpath, которое отлично работает в Chrome, но возвращает нуль в Scrapy.
Случайный пример проекта - https://www.gofundme.com/f/passage/donations, который в настоящее время имеет 22 пожертвования. Приведенное ниже в Chrome проверка дает мне «Пожертвования (22)», и это то, что мне нужно -
//h2[@class="heading-5 mb0"]/text()
Однако в моем пауке Scrapy следующее дает ноль -
class DonationsSpider(scrapy.Spider):
name = 'get_donations'
start_urls = [
'https://www.gofundme.com/f/passage/donations'
]
def parse(self, response):
amount_of_donations = response.xpath('//h2[@class="heading-5 mb0"]/text()').extract_first()
yield{
'Donations': amount_of_donations
}
Кто-нибудь знает, почему Scrapy не может увидеть это значение?
Я делаю это в попытке выяснить, сколько раз остальному пауку нужно l oop, как, когда я жестко кодирую это ценить это работает без проблем и дает все пожертвования.