отсутствует 1 обязательный позиционный аргумент: «ответная» терапия

Question

новичок в scrapy, просто пытаюсь понять, могу ли я использовать его для очистки веб-сериала, который я читаю, чтобы я мог читать его в автономном режиме по дороге в школу, и я не могу понять, как это исправитьошибка, которую я продолжаю получать.

TypeError: parse_wordpress () отсутствует 1 обязательный позиционный аргумент: 'response'

Я думаю, это означает, что веб-сайт не соответствует должным образом, но яНе могу придумать, как решить проблему.

    import scrapy
from scrapy.spiders import CrawlSpider, Rule
from scrapy.selector import HtmlXPathSelector
from scrapy.linkextractors import LinkExtractor

class BlogrollSpider(CrawlSpider):
    name = 'BLOG ARCHIVER'
    allowed_domains = ['blogroll.com', 'wordpress.com', 'blogspot.com']
    start_urls = ['https://parahumans.wordpress.com/2011/06/11/1-1/']
    rules = (
        Rule(LinkExtractor(allow=(),
        restrict_xpaths=('//p[@title="Next Chapter"]',)),
        callback="parse_wordpress",
        follow= True),
        )

    def parse_wordpress(self, response):
        hxs = HtmlXPathSelector(response)
        paragraphs = hxs.select("//p")
        for paragraphs in paragraphs:
            paragraph = paragraphs.select("a/text()").extract()
            print (paragraph)

        return item
blog1 = BlogrollSpider()
blog1.parse_wordpress()
print ("code is reaching here")

Это веб-сайт / веб-сериал, который я пытаюсь загрузить: 'https://parahumans.wordpress.com/2011/06/11/1-1/'

Answer 1

Вы не должны вызывать функцию синтаксического анализа напрямую.Он вызывается автоматически, когда Scrapy получает ответ.

Вместо этого используйте runner командной строки .Например, если у вас есть полный проект:

scrapy crawl "BLOG ARCHIVER"

Или если у вас есть только файл паука:

scrapy runspider my_spider.py

В качестве альтернативы, напишите пользовательский скрипт бегуна .

Кроме того, я бы посоветовал вам пройти через официальное руководство , посвященное тому, как запустить паука.