используя скрап, чтобы построить паука - PullRequest
Новая
       109

используя скрап, чтобы построить паука

0 голосов
/ 03 июля 2018

Я строю простой скребок для получения данных с краудфандингового сайта. Я запускаю скребок и пытаюсь вывести данные в CSV-файл. К сожалению, мой CSV-файл остается пустым. Я перепробовал множество предложений, но, похоже, ничего не работает. Вот пример того, что я написал: 

class Crowdfund_Helphopelive(scrapy.Spider):
name = "helphopelive_scraper"   

def start_requests(self):
    #make list of individual campaign sites
    start_urls = ["https://helphopelive.org/campaign/10798/",
                  "https://helphopelive.org/campaign/13083/"]
    for url in start_urls:
        yield scrapy.Request(url=url,callback=self.parse)

def parse(self, response):
    #parse individual campaign sites

    #create instance of the item
    item = HelphopeliveItem()

    #get amount raised
    item['amount_raised'] = response.xpath("//span[contains(@class,'teal')]/descendant::text()").extract()[0]
    #get the goal
    item['goal'] = response.xpath("//div[contains(@class,'profile-lockup__footer')]/p/text()").extract()[0]

    #get the url
    item['url'] = response.xpath("//meta[@property='og:url']/@content").extract()[0]

    yield item

Был бы признателен за помощь, чтобы я мог понять, что мне не хватает.

...