Плохой запрос к Spla sh при использовании прокси - PullRequest
Новая
       2

Плохой запрос к Spla sh при использовании прокси

0 голосов
/ 10 февраля 2020

Я следую этой инструкции при использовании прокси в моем скрипте, но я получил эту ошибку: 

WARNING: Bad request to Splash: {'error': 400, 'type': 'BadOption', 'description': 'Incorrect HTTP API arguments', 
'info': {'type': 'bad_argument', 'argument': 'proxy', 'description': 'Proxy profile does not exist'}}
2020-02-10 20:45:42 [scrapy.core.engine] DEBUG: Crawled (400) <GET http://whatismyip.com/ via http://localhost:8050/render.html> (referer: None)

Вот мой скрипт: 

class WhatismyipSpider(scrapy.Spider):
    name = 'whatismyip'
    allowed_domains = ['whatismyip.com']
    start_urls = ['http://whatismyip.com/']

    def start_requests(self):
        filter_script = """
            function main(splash)
                assert(splash:go(splash.args.url))
                splash:wait(5)

                splash:on_request(function(request)
                    request:set_proxy{
                        host = us-wa.proxymesh.com,
                        port = 31280,
                        username = '[my user name]',
                        password = '[my password!]',
                    }
            )

            return splash:html()
        end
        """
    for url in self.start_urls:
        yield SplashRequest(
            url=url,
            callback=self.parse,
            endpoint='render.html', 
            args={'lua_source': filter_script, 
              'proxy': 'us-wa.proxymesh.com:31280'}
        )

    def parse(self, response):
        my_ip = response.xpath('//li[@class="list-group-item py-1"]/text()').extract_first()
        yield {'my_ip' : my_ip}

Когда я удалите этот скрипт ниже в settings.py, такой ошибки нет, но прокси не работает. IP-адрес c моего компьютера все еще выставлен 

'scrapy_splash.SplashMiddleware': 725,

Я использую docker для windows 10 Заранее благодарен за вашу помощь

...