Как связать items.py и мой файл паука? - PullRequest
0 голосов
/ 21 апреля 2019

Я новичок в scrapy и пытаюсь почистить страницу, которая имеет несколько ссылок. За которыми я хочу следить и очищать содержимое этой страницы, и с этой страницы есть еще одна ссылка, которую я хочу очистить.

Я пробовал этот путь в оболочке, и он работал, но я не знаю, что мне здесь не хватает. Я хочу иметь возможность пролистать две страницы, перейдя по ссылкам. Я пробовал читать учебники, но я не совсем понимаю, чего мне здесь не хватает.

Это мой файл items.py.

import scrapy

# item class included here 
class ScriptsItem(scrapy.Item):
    # define the fields for your item here like:
    link = scrapy.Field()
    attr = scrapy.Field()

А вот и мой файл scripts.py.

import scrapy
import ScriptsItem


class ScriptsSpider(scrapy.Spider):
    name = 'scripts'
    allowed_domains = ['https://www.imsdb.com/TV/Futurama.html']
    start_urls = ['http://https://www.imsdb.com/TV/Futurama.html/']
    BASE_URL = 'https://www.imsdb.com/TV/Futurama.html'

    def parse(self, response):
        links = response.xpath('//table//td//p//a//@href').extract()
        for link in links:
            absolute_url = self.BASE_URL + link
            yield scrapy.Request(absolute_url, callback=self.parse_attr)

    def parse_attr(self, response):
        item = ScriptsItem()
        item["link"] = response.url
        item["attr"] = "".join(response.xpath("//table[@class = 'script-details']//tr[2]//td[2]//a//text()").extract())
        return item

1 Ответ

1 голос
/ 21 апреля 2019

Заменить

import ScriptsItem

на

from your_project_name.items import ScriptsItem

your_project_name - Название вашего проекта

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...