Передача реального URL через Scrapy-Splash в словарь - PullRequest
Новая
       6

Передача реального URL через Scrapy-Splash в словарь

0 голосов
/ 01 февраля 2019

При попытке сохранить URL-адреса в словаре с помощью ('url': response.request.url) Scrapy сохраняет одинаковые URL-адреса из Scrapy-Splash (http://localhost:8050/render.html)

Я пытался добавитьдополнительные аргументы, которые передают реальный URL безрезультатно. 

from scrapy import Spider
from scrapy.http import FormRequest
from scrapy.utils.response import open_in_browser
from scrapy import Request
import scrapy
from scrapy_splash import SplashRequest

class QuotesJSSpider(scrapy.Spider):
    name = 'quotesjs'
    start_urls = ('https://www.facebook.com/login',)
    custom_settings = {
        'SPLASH_URL': 'http://localhost:8050',
        'DOWNLOADER_MIDDLEWARES': {
            'scrapy_splash.SplashCookiesMiddleware': 723,
            'scrapy_splash.SplashMiddleware': 725,
            'scrapy.downloadermiddlewares.httpcompression.HttpCompressionMiddleware': 810,
        },
        'SPIDER_MIDDLEWARES': {
            'scrapy_splash.SplashDeduplicateArgsMiddleware': 100,
        },
        'DUPEFILTER_CLASS': 'scrapy_splash.SplashAwareDupeFilter',
    }

    def parse(self, response):
        token = response.xpath('//*[@id="u_0_a"]').extract_first()
        return FormRequest.from_response(response,
                                         formdata={'lgndim' : token,
                                                   'pass': 'xxx',
                                                   'email': 'xxxx'},
                                         callback=self.load_sites)

    def load_sites(self, response):
            urls = [
                'https://www.facebook.com/page1/about',
                'https://www.facebook.com/page2/about',
            ]
            for url in urls:
                yield SplashRequest(url=url, callback=self.scrape_pages)

    def scrape_pages(self, response):
        shops = {
            'company_name' : response.css('title::text').extract(),
            'url' : response.request.url,

        }

        yield shops

Результаты должны быть такими: 'url': https://www.facebook.com/page1/about'

Вместо этого: 'url': http://localhost:8050/render.html,

1 Ответ

0 голосов
/ 03 февраля 2019

Исходный запрошенный URL-адрес доступен здесь: response.request._original_url.

Чтобы избежать необходимости доступа к внутренним атрибутам, вы также можете попробовать:

  • передать URL-адрес в мета: 
    def load_sites(self, response):
                urls = [
                    'https://www.facebook.com/page1/about',
                    'https://www.facebook.com/page2/about',
                ]
                for url in urls:
                    yield SplashRequest(url=url, callback=self.scrape_pages, meta={'original_url': url})

    def scrape_pages(self, response)
        shops = {
                'company_name' : response.css('title::text').extract(),
                'url' : response.meta['original_url'],
        }
        yield shops
  • используйте URL из ответа: 
    def scrape_pages(self, response):
        shops = {
            'company_name' : response.css('title::text').extract(),
            'url' : response.url,
        }
...