с помощью xpath перейти на следующую страницу с scrapy - PullRequest
Новая
       10

с помощью xpath перейти на следующую страницу с scrapy

0 голосов
/ 29 августа 2018

Я создаю паука для очистки данных с веб-сайта. Это было нормально, пока я не добавил сканер с правилом, чтобы продолжить его на следующих страницах. Я предполагаю, что мой xpath в Правиле неверен. Не могли бы вы помочь мне исправить это? Ps: я использую python3

Это мой паук: 

import scrapy
from scrapy.contrib.spiders import Rule
from scrapy.linkextractors import LinkExtractor
from scrapy.spiders import Spider, CrawlSpider, Rule
from scrapy.selector import Selector
from task11.items import Digi

class tutorial(CrawlSpider):
    name = "task11"
    allowed_domains = ["meetings.intherooms.com"]
    start_urls = ["https://meetings.intherooms.com/meetings/aa/al"]

    rules = (Rule(LinkExtractor(allow=(), restrict_xpaths=('(//a[@class="prevNext" and contains(text(),"Next")])[1]')),callback="parse_page", follow=True),)

    def parse_page(self, response):
        sel = Selector(response)
        sites = sel.xpath('//*[@class="all-meetings"]/tr')
        items = []

        for site in sites[1:]:
            item = Digi()
            item['meeting_title'] = site.xpath('td/text()').extract()
            items.append(item)
        return items

И это мой ожидаемый результат, который я получил после просмотра первой страницы (и хочу получить больше от следующих страниц): 

2018-08-30 08:59:57 [scrapy.core.scraper] DEBUG: Scraped from <200 https://meetings.intherooms.com/meetings/aa/al>
{'meeting_title': ['Alabama Avenue & Lauderdale Street',
                   'SELMA,  ',
                   'TUESDAY',
                   '7:00 PM',
                   'Alcoholics Anonymous']}
2018-08-30 08:59:57 [scrapy.core.scraper] DEBUG: Scraped from <200 https://meetings.intherooms.com/meetings/aa/al>
{'meeting_title': ['Alabama Avenue & Lauderdale Street',
                   'SELMA,  ',
                   'THURSDAY',
                   '7:00 PM',
                   'Alcoholics Anonymous']}
2018-08-30 08:59:57 [scrapy.core.scraper] DEBUG: Scraped from <200 https://meetings.intherooms.com/meetings/aa/al>
{'meeting_title': ['Alabama Avenue & Lauderdale Street',
                   'SELMA,  ',
                   'SUNDAY',
                   '7:00 PM',
                   'Alcoholics Anonymous']}
2018-08-30 08:59:57 [scrapy.core.scraper] DEBUG: Scraped from <200 https://meetings.intherooms.com/meetings/aa/al>
{'meeting_title': ['210 Lauderdale Street',
                   'SELMA,  36703',
                   'MONDAY',
                   '6:00 PM',
                   'Alcoholics Anonymous']}

Ответы [ 2 ]

0 голосов
/ 30 августа 2018

Вам нужно использовать это для restrict_xpaths (не текст ссылки или ссылка, а сам узел ссылки): 

restrict_xpaths='(//a[@class="prevNext" and contains(text(),"Next")])[1]'
0 голосов
/ 29 августа 2018

Я бы использовал класс кнопки «Следующая страница»: 

response.xpath('//a[@class="prevNext"]/@href')

Что приводит к 2 результатам. Один для верхней и один для кнопки со стрелкой. Но когда вы открываете первую следующую страницу (2-ю страницу), предыдущая страница также получает ссылку с классом prevNext. Это не большая проблема, потому что scrapy отфильтрует большинство дополнительных запросов. Но можно ограничить ссылки текстовым фильтром: 

response.xpath('//a[contains(text(),"Next")]/@href')

Или, если у вас есть сомнения, что Next есть и в других ссылках, вы можете объединить их: 

response.xpath('//a[@class="prevNext" and contains(text(),"Next")]/@href')
...