10049: запрошенный адрес недопустим в своем контексте. Scrapy-Splash неправильно читает URL - PullRequest
Новая
       28

10049: запрошенный адрес недопустим в своем контексте. Scrapy-Splash неправильно читает URL

0 голосов
/ 10 января 2019

Я пытаюсь получить код для чтения на веб-странице, используя заставку для более сложного сайта, но я даже не могу заставить код работать для этого простого местоположения сайта. Я запустил докер, и в моем файле settings.py порт 8050 сопоставлен с 0.0.0.0. Любая помощь будет принята с благодарностью. Пожалуйста, предоставьте версию, которую вы использовали для любого пакета, так как я боюсь, что это может быть проблемой.

Я пробовал многочисленные исправления ошибок по пути. Изменение версий Splash, Scrapy и Twisted. Scrapy работает только на Python 3.x с более новой версией Twisted, но Splash говорит, что несравнимо с Twisted> 16.2. Поэтому я попытался переключить некоторые версии без каких-либо исправлений. 

import scrapy
import scrapy_splash


class ExampleSpider(scrapy.Spider):
    name = "test"
    #allowed_domains = ["Monster.com"]
    start_urls = [
        'http://quotes.toscrape.com/page/1/'
    ]


    def start_requests(self):
        for url in self.start_urls:
            yield scrapy_splash.SplashRequest(url, self.parse, 
                args={
                    'wait': 0.5,
                     },
                    endpoint='render.html',
            )
    def parse(self, response):
        for quote in response.css('div.quote'):
            print (quote.css('span.text::text').extract())

Я должен просто получить тексты цитаты, т.е. это тот же URL из документации по питону

...