Scrap отрицать правила не игнорируются - PullRequest
Новая
       13

Scrap отрицать правила не игнорируются

1 голос
/ 10 января 2012

У меня есть несколько правил, которые я динамически извлекаю из базы данных и добавляю в мой паук: 

        self.name =  exSettings['site']
        self.allowed_domains = [exSettings['root']]
        self.start_urls = ['http://' + exSettings['root']]

        self.rules =  [Rule(SgmlLinkExtractor(allow=(exSettings['root'] + '$',)), follow= True)]
        denyRules = []

        for rule in exSettings['settings']:
            linkRegex = rule['link_regex']

            if rule['link_type'] == 'property_url':
                propertyRule = Rule(SgmlLinkExtractor(allow=(linkRegex,)), follow=True, callback='parseProperty')
                self.rules.insert(0, propertyRule)
                self.listingEx.append({'link_regex': linkRegex, 'extraction': rule['extraction']})

            elif rule['link_type'] == 'project_url':
                projectRule = Rule(SgmlLinkExtractor(allow=(linkRegex,)), follow=True) #not set to crawl yet due to conflict if same links appear for both
                self.rules.insert(0, projectRule)

            elif rule['link_type'] == 'favorable_url':
                favorableRule = Rule(SgmlLinkExtractor(allow=(linkRegex,)), follow=True)
                self.rules.append(favorableRule)

            elif rule['link_type'] == 'ignore_url':
                denyRules.append(linkRegex)

        #somehow all urls will get ignored if allow is empty and put as the first rule
        d = Rule(SgmlLinkExtractor(allow=('testingonly',), deny=tuple(denyRules)), follow=True)

        #self.rules.insert(0,d) #I have tried with both status but same results
        self.rules.append(d)

И у меня есть следующие правила в моей базе данных: 

link_regex: /listing/\d+/.+  (property_url)
link_regex: /project-listings/.+    (favorable_url)
link_regex: singapore-property-listing/   (favorable_url)
link_regex: /mrt/  (ignore_url)

ИЯ вижу это в своем журнале: 

 http://www.propertyguru.com.sg/singapore-property-listing/property-for-sale/mrt/125/ang-mo-kio-mrt-station> (referer: http://www.propertyguru.com.sg/listing/8277630/for-sale-thomson-grand-6-star-development-)

Разве /mrt/ не должно быть отказано?Почему до сих пор просканирована вышеуказанная ссылка?

1 Ответ

2 голосов
/ 10 января 2012

Насколько я знаю, deny аргументы должны быть в том же SgmlLinkExtractor, который имеет allow паттернов.

В вашем случае вы создали SgmlLinkExtractor, который позволяет favorable_url ('singapore-property-listing/').Но этот экстрактор не имеет шаблонов deny, поэтому он также извлекает /mrt/.

Чтобы исправить это, вы должны добавить deny паттернов к корреспонденту SgmlLinkExtractor s.Также см. связанный вопрос .

Возможно, есть некоторые способы определения глобальных deny шаблонов, но я их не видел.

...