Scrapy - SitemapSpider эквивалент метода start_requests - PullRequest
Новая
       50

Scrapy - SitemapSpider эквивалент метода start_requests

0 голосов
/ 08 июля 2019

Это - это URL карты сайта, который я сканирую. Я хочу, чтобы мой паук очищал данные со страниц, которые начинаются с / property .

Проблема в том, что эти страницы не показывают правильный ответ при отправке запроса без заголовков. Для запроса требуется заголовок агента пользователя.

Я пришел к такому решению. Во-первых, URL, начинающиеся с / property , сканируются методом parse, и этот метод получает пустой ответ. Тот же запрос отправляется вместе с заголовками методом parse, а правильный ответ будет сканироваться методом parse_items.

Метод parse_items никогда не вызывается и процесс оболочки никогда не запускается. Я не понимаю, почему parse_items не достигается. Есть ли способ определить метод, такой как start_requests, чтобы я мог переопределить поведение метода parse для класса SitemapSpider. 

class MySpider(SitemapSpider):

    name = 'myspider'

    sitemap_urls = [
        'https://www.iproperty.com.my/sitemap_index.xml',
    ]

    sitemap_rules = [
        ('/property', 'parse'),
    ]

    headers = {
        'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36'
    }

    def parse(self, response):
        yield scrapy.Request(
            url=response.url,
            method='GET',
            headers=self.headers,
            callback=self.parse_items
        )


    def parse_items(self, response):
        from scrapy.shell import inspect_response
        inspect_response(response, self)

Ответы [ 3 ]

2 голосов
/ 08 июля 2019

Согласно исходному коду SitemapSpider (v 1.6) он не вызывает функцию parse в качестве обратного вызова (как это делает Spider): 

def start_requests(self):
    for url in self.sitemap_urls:
        yield Request(url, self._parse_sitemap)

Как видите, он не добавляет никаких конкретных заголовков.
Вам нужно соблюдать исходный код SitemapSpider и переопределять некоторые его методы.

Я заметил еще одну вещь. Я не помню, чтобы у пауков было значение headers. Вы имели в виду DEFAULT_REQUEST_HEADERS setting?: 

class MySpider(SitemapSpider):

    name = 'myspider'

    sitemap_urls = [
        'https://www.iproperty.com.my/sitemap_index.xml',
    ]

    sitemap_rules = [
        ('/property', 'parse'),
    ]
    CUSTOM_SETTINGS = {
        DEFAULT_REQUEST_HEADERS : {
            'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36'
    }}
....
1 голос
/ 09 июля 2019

Вы можете использовать настройку DEFAULT_REQUEST_HEADERS, которую вы можете установить на своем пауке, используя атрибут класса custom_settings.

Если это не такдостаточно гибок для вас, используйте подход Георгия переопределения SitemapSpider или напишите свой собственный паук с нуля на его основе.

0 голосов
/ 08 июля 2019

Как насчет немного другого подхода для достижения того же?Если вы попытаетесь использовать BeautifulSoup в рамках scrapy, то результат будет таким, как вы ожидали.Возможно, именно парсер отвечает за получение ответа. 

from bs4 import BeautifulSoup
import scrapy

class SitMapSpider(scrapy.Spider):
    name = 'sitemap'
    start_urls = ['https://www.iproperty.com.my/sitemap_index.xml']

    def start_requests(self):
        for url in self.start_urls:
            yield scrapy.Request(url, self.parse)

    def parse(self,response):
        soup = BeautifulSoup(response.text, 'xml')
        for item in soup.select('sitemap > loc'):
            yield scrapy.Request(item.text,self.parse_more_links)

    def parse_more_links(self,response):
        soup = BeautifulSoup(response.text, 'xml')
        for item in soup.select('url > loc'):
            if not "/property" in item.text:continue
            yield {"item": item.text}
...