Мой паук не работает. Я сделал это с классом CrawlSpider - PullRequest
0 голосов
/ 23 июня 2019

Мой паук не работает. Я ожидаю извлечь данные в CSV-файл, но когда я открываю CSV-файл, он пуст. Что я могу сделать?

from scrapy.item import Field, Item
from scrapy.spiders import CrawlSpider, Rule
from scrapy.linkextractors import LinkExtractor
from scrapy.loader import ItemLoader
import scrapy

class misitems(Item): 
    tipo = Field()
    capacidad = Field()

class MySpider(CrawlSpider):
    name = "blog"
    allowed_domains = ["elblogdelnarco.com"]
    start_urls = ["https://elblogdelnarco.com"]

    rules = (
        Rule(LinkExtractor(restrict_xpaths=("//a[@class='next page-numbers']/@href"))),
        Rule(LinkExtractor(restrict_xpaths=("//h2[@class='title front-view-title']/a/@href")), callback='parse_item'),
    )

    def parse_item(self, response):
        item = ItemLoader(misitems(), response)
        item.add_xpath("titulo", "//h1[@class='title single-title entry-title']/text()")
        item.add_xpath("contenido", "(//div[@class='thecontent']/p/b)[1]/text()")
        yield item.load_item() 
Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...