Scrapy SgmlLinkExtractor игнорирует разрешенные ссылки - PullRequest
Новая
       5

Scrapy SgmlLinkExtractor игнорирует разрешенные ссылки

10 голосов
/ 28 ноября 2009

Пожалуйста, посмотрите на этот пример паука в документации Scrapy. Объяснение:

Этот паук начнет сканировать домашнюю страницу example.com, собирать ссылки на категории и ссылки на элементы, анализируя последние с помощью метода parse_item. Для каждого ответа элемента некоторые данные будут извлечены из HTML с использованием XPath, и элемент будет заполнен им.

Я точно скопировал того же паука и заменил «example.com» другим начальным URL. 

from scrapy.contrib.spiders import CrawlSpider, Rule
from scrapy.contrib.linkextractors.sgml import SgmlLinkExtractor
from scrapy.selector import HtmlXPathSelector
from scrapy.item import Item
from stb.items import StbItem

class StbSpider(CrawlSpider):
    domain_name = "stb"
    start_urls = ['http://www.stblaw.com/bios/MAlpuche.htm']

    rules = (Rule(SgmlLinkExtractor(allow=(r'/bios/.\w+\.htm', )), callback='parse', follow=True), )

    def parse(self, response):
        hxs = HtmlXPathSelector(response)

        item = StbItem()
        item['JD'] = hxs.select('//td[@class="bodycopysmall"]').re('\d\d\d\d\sJ.D.')
        return item

SPIDER = StbSpider()

Но мой паук "stb" не собирает ссылки с "/ bios /", как это должно быть. Он запускает исходный URL, очищает item['JD'], записывает его в файл и затем завершает работу.

Почему SgmlLinkExtractor игнорируется? Rule читается, потому что он перехватывает синтаксические ошибки внутри строки Rule.

Это ошибка? что-то не так в моем коде? Нет ошибок, кроме кучей необработанных ошибок, которые я вижу при каждом запуске.

Было бы неплохо узнать, что я здесь делаю неправильно. Спасибо за любые подсказки. Я неправильно понимаю, что SgmlLinkExtractor должен делать?

1 Ответ

11 голосов
/ 16 января 2010

Функция parse фактически реализована и используется в классе CrawlSpider, и вы непреднамеренно переопределяете ее. Если вы измените имя на другое, например parse_item, тогда правило должно работать.

...