Проблема со скрабом паука - PullRequest
Новая
       7

Проблема со скрабом паука

0 голосов
/ 08 сентября 2018

Я пытаюсь получить средневзвешенные цены на акции с сайта moneycontrol.com. Функция parse работает без проблем, но функция parse_links не вызывается. Я что-то здесь упускаю? 

# -*- coding: utf-8 -*-
import scrapy

class MoneycontrolSpider(scrapy.Spider):
    name = "moneycontrol"
    allowed_domains = ["https://www.moneycontrol.com"]
    start_urls = ["https://www.moneycontrol.com/india/stockpricequote"]

    def parse(self,response):
        for link in response.css('td.last > a::attr(href)').extract():
            if(link):
                yield scrapy.Request(link, callback=self.parse_links,method='GET')

    def parse_links(self, response):
        VWAP= response.xpath('//*[@id="n_vwap_val"]/text()').extract_first()
        print(VWAP)      
        with open('quotes.txt','a+') as f:
            f.write('VWAP: {}'.format(VWAP)  + '\n')

1 Ответ

0 голосов
/ 08 сентября 2018

Если вы прочитаете вывод журнала, ошибка станет очевидной. 

2018-09-08 19:52:38 [py.warnings] WARNING: c:\program files\python37\lib\site-packages\scrapy\spidermiddlewares\offsite.py:59: URLWarning: allowed_domains accepts only domains, not URLs. Ignoring URL entry https://www.moneycontrol.com in allowed_domains.
  warnings.warn("allowed_domains accepts only domains, not URLs. Ignoring URL entry %s in allowed_domains." % domain, URLWarning)

2018-09-08 19:52:38 [scrapy.extensions.telnet] DEBUG: Telnet console listening on 127.0.0.1:6023
2018-09-08 19:52:39 [scrapy.core.engine] DEBUG: Crawled (200) <GET https://www.moneycontrol.com/india/stockpricequote> (referer: None)
2018-09-08 19:52:40 [scrapy.spidermiddlewares.offsite] DEBUG: Filtered offsite request to 'www.moneycontrol.com': <GET http://www.moneycontrol.com/india/stockpricequote/chemicals/aartiindustries/AI45>

Так что просто исправьте allowed_domains, и все будет в порядке: 

allowed_domains = ["moneycontrol.com"]
...