динамические start_urls в скрапе - PullRequest
Новая
       15

динамические start_urls в скрапе

12 голосов
/ 10 января 2012

Я использую scrapy для сканирования нескольких страниц на сайте. Переменная start_urls используется для определения просматриваемых страниц. Сначала я бы начал с 1-й страницы, определив таким образом start_urls = [1st page] в файле example_spider.py

Получив больше информации с 1-й страницы, я бы определил, какие будут следующие страницы для сканирования, а затем назначил бы start_urls соответственно. Следовательно, мне нужно переписать выше example_spider.py с изменениями в start_urls = [1st page, 2nd page, ..., Kth page], а затем снова запустить scrapy crawl.

Это лучший подход или есть лучший способ динамически назначать start_urls с использованием scrapy API без необходимости перезаписывать example_splider.py? Спасибо.

1 Ответ

22 голосов
/ 10 января 2012

start_urls Атрибут класса содержит стартовые URL - больше ничего. Если вы извлекли URL-адреса других страниц, которые вы хотите очистить - выведите из parse обратного вызова соответствующие запросы с [другим] обратным вызовом: 

class Spider(BaseSpider):

    name = 'my_spider'
    start_urls = [
                'http://www.domain.com/'
    ]
    allowed_domains = ['domain.com']

    def parse(self, response):
        '''Parse main page and extract categories links.'''
        hxs = HtmlXPathSelector(response)
        urls = hxs.select("//*[@id='tSubmenuContent']/a[position()>1]/@href").extract()
        for url in urls:
            url = urlparse.urljoin(response.url, url)
            self.log('Found category url: %s' % url)
            yield Request(url, callback = self.parseCategory)

    def parseCategory(self, response):
        '''Parse category page and extract links of the items.'''
        hxs = HtmlXPathSelector(response)
        links = hxs.select("//*[@id='_list']//td[@class='tListDesc']/a/@href").extract()
        for link in links:
            itemLink = urlparse.urljoin(response.url, link)
            self.log('Found item link: %s' % itemLink, log.DEBUG)
            yield Request(itemLink, callback = self.parseItem)

    def parseItem(self, response):
        ...

Если вы все еще хотите настроить создание стартовых запросов, переопределите метод BaseSpider.start_requests ()

...