Scrapy SgmlLinkExtractor Добавить произвольный URL

Question

Как мне добавить URL в SgmlLinkExtractor? То есть как добавить произвольный URL для запуска обратного вызова?

Для уточнения, используя dirbot в качестве примера: https://github.com/scrapy/dirbot/blob/master/dirbot/spiders/googledir.py

parse_category имеет доступ только ко всему, что соответствует SgmlLinkExtractor SgmlLinkExtractor (allow = 'directory.google.com / [A-Z] [a-zA-Z _ /] + $')

Answer 1

класс ThemenHubSpider (CrawlSpider):

name = 'themenHub'
allowed_domains = ['themen.t-online.de']
start_urls = ["http://themen.t-online.de/themen-a-z/a"]
rules = [Rule(SgmlLinkExtractor(allow=['id_\d+']), 'parse_news')]

Answer 2

Используйте BaseSpider вместо CrawlSpider, затем установите add в start_requests или start_urls []

class MySpider(BaseSpider):
    name = "myspider"

    def start_requests(self):
        return [Request("https://www.example.com",
            callback=self.parse)]

    def parse(self, response):
        hxs = HtmlXPathSelector(response)
        ...