ValueError ('Отсутствует схема в URL-адресе запроса:% s'% self._url) при вызове паука во время изменения аргумента start_url - PullRequest
Новая
       7

ValueError ('Отсутствует схема в URL-адресе запроса:% s'% self._url) при вызове паука во время изменения аргумента start_url

0 голосов
/ 24 января 2019

Я работаю со скребком, со скрабом через блокнот Юпитера.

Это код скребка, сохраненный в файле Python 

import scrapy


from scrapy.selector import Selector
from scrapy.http import HtmlResponse

class GoogleApipoweredContentScraperSpider(scrapy.Spider):
    name = 'google_apipowered_content_scraper'

    start_urls = ['https://doc.scrapy.org/en/latest/topics/selectors.html#topics-selectors']

    def parse(self, response):
        texta = response.xpath("//text()").extract()
        texttitle = response.xpath('//title/text()').extract()
        yield {"Article_title" : texttitle, "Content_text" :texta}


</blink>

Скребок отлично работает для начинающих, когда вы вызываете и выполняете его как обычно.

<blink>
!scrapy runspider google_apipowered_content_scraper.py

</blink>

Здесь дело в том, что URL-адрес запуска doc.scrapy был просто примером для выполнения, на самом деле я планирую модифицировать эту переменную при вызове (вот где происходит ошибка, это код, который яЯ использую: 

!scrapy runspider google_apipowered_content_scraper.py -a "start_urls=[https://elpais.com/internacional/2019/01/23/actualidad/1548249429_996363.html]"

Но это не работает, Здесь ошибка, которая выдает: 

    019-01-23 20:21:43 [scrapy.utils.log] INFO: Scrapy 1.5.1 started (bot: scrapybot)
2019-01-23 20:21:43 [scrapy.utils.log] INFO: Versions: lxml 4.2.1.0, libxml2 2.9.8, cssselect 1.0.3, parsel 1.5.1, w3lib 1.20.0, Twisted 18.9.0, Python 3.6.5 |Anaconda, Inc.| (default, Apr 29 2018, 16:14:56) - [GCC 7.2.0], pyOpenSSL 18.0.0 (OpenSSL 1.1.0i  14 Aug 2018), cryptography 2.4.1, Platform Linux-4.15.0-43-generic-x86_64-with-debian-buster-sid
2019-01-23 20:21:43 [scrapy.crawler] INFO: Overridden settings: {'SPIDER_LOADER_WARN_ONLY': True}
2019-01-23 20:21:43 [scrapy.middleware] INFO: Enabled extensions:
['scrapy.extensions.corestats.CoreStats',
 'scrapy.extensions.telnet.TelnetConsole',
 'scrapy.extensions.memusage.MemoryUsage',
 'scrapy.extensions.logstats.LogStats']
2019-01-23 20:21:43 [scrapy.middleware] INFO: Enabled downloader middlewares:
['scrapy.downloadermiddlewares.httpauth.HttpAuthMiddleware',
 'scrapy.downloadermiddlewares.downloadtimeout.DownloadTimeoutMiddleware',
 'scrapy.downloadermiddlewares.defaultheaders.DefaultHeadersMiddleware',
 'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware',
 'scrapy.downloadermiddlewares.retry.RetryMiddleware',
 'scrapy.downloadermiddlewares.redirect.MetaRefreshMiddleware',
 'scrapy.downloadermiddlewares.httpcompression.HttpCompressionMiddleware',
 'scrapy.downloadermiddlewares.redirect.RedirectMiddleware',
 'scrapy.downloadermiddlewares.cookies.CookiesMiddleware',
 'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware',
 'scrapy.downloadermiddlewares.stats.DownloaderStats']
2019-01-23 20:21:43 [scrapy.middleware] INFO: Enabled spider middlewares:
['scrapy.spidermiddlewares.httperror.HttpErrorMiddleware',
 'scrapy.spidermiddlewares.offsite.OffsiteMiddleware',
 'scrapy.spidermiddlewares.referer.RefererMiddleware',
 'scrapy.spidermiddlewares.urllength.UrlLengthMiddleware',
 'scrapy.spidermiddlewares.depth.DepthMiddleware']
2019-01-23 20:21:43 [scrapy.middleware] INFO: Enabled item pipelines:
[]
2019-01-23 20:21:43 [scrapy.core.engine] INFO: Spider opened
2019-01-23 20:21:43 [scrapy.extensions.logstats] INFO: Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min)
2019-01-23 20:21:43 [scrapy.extensions.telnet] DEBUG: Telnet console listening on 127.0.0.1:6027
2019-01-23 20:21:43 [scrapy.core.engine] ERROR: Error while obtaining start requests
Traceback (most recent call last):
  File "/home/stefano/anaconda3/lib/python3.6/site-packages/scrapy/core/engine.py", line 127, in _next_request
    request = next(slot.start_requests)
  File "/home/stefano/anaconda3/lib/python3.6/site-packages/scrapy/spiders/__init__.py", line 83, in start_requests
    yield Request(url, dont_filter=True)
  File "/home/stefano/anaconda3/lib/python3.6/site-packages/scrapy/http/request/__init__.py", line 25, in __init__
    self._set_url(url)
  File "/home/stefano/anaconda3/lib/python3.6/site-packages/scrapy/http/request/__init__.py", line 62, in _set_url
    raise ValueError('Missing scheme in request url: %s' % self._url)
ValueError: Missing scheme in request url: [
2019-01-23 20:21:43 [scrapy.core.engine] INFO: Closing spider (finished)
2019-01-23 20:21:43 [scrapy.statscollectors] INFO: Dumping Scrapy stats:
{'finish_reason': 'finished',
 'finish_time': datetime.datetime(2019, 1, 23, 19, 21, 43, 224181),
 'log_count/DEBUG': 1,
 'log_count/ERROR': 1,
 'log_count/INFO': 7,
 'memusage/max': 55255040,
 'memusage/startup': 55255040,
 'start_time': datetime.datetime(2019, 1, 23, 19, 21, 43, 219808)}
2019-01-23 20:21:43 [scrapy.core.engine] INFO: Spider closed (finished)

    </blink>

В основном ошибка, кажется, связано с этой ValueError ('Отсутствует схема в URL-адресе запроса:% s'% self._url)

Я пытался написать start_url при вызове аргумента, в скобках и без скобок [], я также попытался добавить домен веб-страниц, скома после добавления URL-адреса, а не добавления его. Во всех случаях я получаю одну и ту же ошибку.

В результате должен получиться код, возвращающий весь текст внутри URL-адреса, конечно, неорганизованный, но весь текст.на этом: 'Python версия 3.6.5 | Anaconda версия 5.2.0, jupyter notebook 5.5.0

Я совершенно новичок в веб-очистке, не знаю, как это исправить, я все еще пытаюсьхотя и держуработая с этой стороны, я видел много постов, но ни один из них не относится к случаю, подобному моему, где я изменяю переменную start_url из блокнота jupyter.Большинство из них делают ошибку, не добавляя [], но это явно не мой случай.Надеюсь, что это весело и делает сообщество умнее.Заранее спасибо.

Ответы [ 3 ]

0 голосов
/ 25 января 2019

Извините, но мне кажется, что вы не можете сделать это без изменения Scrapy, потому что аргументы командной строки всегда передаются в виде строк. 

def start_requests(self):
        cls = self.__class__
        if method_is_overridden(cls, Spider, 'make_requests_from_url'):
            warnings.warn(
                "Spider.make_requests_from_url method is deprecated; it "
                "won't be called in future Scrapy releases. Please "
                "override Spider.start_requests method instead (see %s.%s)." % (
                    cls.__module__, cls.__name__
                ),
            )
             for url in self.start_urls:
                yield self.make_requests_from_url(url)
        else:
            for url in self.start_urls:
                yield Request(url, dont_filter=True)

Это вырезка из кода Scrapys.

Чтобы ваш аргумент понимал Scrapy, вам нужно добавить в Scrapy: 

for url in self.start_urls:
   yield self.make_requests_from_url(url)

это: 

for url in self.start_urls.strip('[]').split(','))
   yield self.make_requests_from_url(url)

И запустите Scrapy с этим аргументом: 

scrapy runspider google_apipowered_content_scraper.py -a start_urls=[https://elpais.com/internacional/2019/01/23/actualidad/1548249429_996363.html,https://www.another_url.com]

но я не уверен, что больше нет цикла для получения URL-адресов из массива. Нужно найти.

А вот и костыли)))

0 голосов
/ 25 января 2019

Я очень заинтересовался и решил вашу проблему)). добавьте это к своему коду:

  1. В классе GoogleApipoweredContentScraperSpider добавьте:

    my_start_page = ''

  2. Добавить метод:

    def start_requests(self): if self.my_start_page is not None and self.my_start_page != '': self.my_start_page = self.my_start_page.split(',') for url in self.my_start_page: yield self.make_requests_from_url(url) else: for url in self.start_urls: yield self.make_requests_from_url(url)

ИСПЫТАНО !!! ВСЕ РАБОТАЕТ !!! 

scrapy runspider google_apipowered_content_scraper.py -a my_start_page=https://elpais.com/internacional/2019/01/23/actualidad/1548249429_996363.html,https://www.yoursitenb2.com

Если вы хотите перенести один URL в начало, просто удалите split(',') и цикл. просто: self.make_requests_from_url(self.my_start_page)

0 голосов
/ 24 января 2019 
!scrapy runspider google_apipowered_content_scraper.py -a "start_urls=['https://elpais.com/internacional/2019/01/23/actualidad/1548249429_996363.html']"

попробуйте

...