Вложенные правила для CrawlSpider в Scrapy - PullRequest
Новая
       21

Вложенные правила для CrawlSpider в Scrapy

0 голосов
/ 25 мая 2018

Совершенно новый для scrapy и crawlspider .. Я застрял на том, как определить правила для вложенного сканирования ??У меня есть правило, определенное как 

Rule(LinkExtractor(
            allow=(),
            restrict_xpaths='//div[@class="sch-main-menu-sub-links-left"]'
            ), callback='parse_item', follow=True)

. Оно сканирует страницу категорий, затем со всех страниц категорий, извлеченных из этого правила, я должен сканировать все продукты на этой странице с правилом

* 1005.*

Также страница категории разбита на страницы. Но я не понимаю, как это сделать.первое правило успешно, но где разместить второе правило?Есть ли способ в CrawlSpider для определения уровней правил ??

...