Ползание паука 0 страниц - PullRequest
0 голосов
/ 13 апреля 2019

Мне нужно соскрести все цены и модели со следующей страницы:

<li class="item col-sm-4 col-xs-6" product-id="156385" itemscope  itemtype="http://schema.org/Product">
    .....
      <span class="product-name" itemprop="name">35/139 Tokyo</span>
    .....
        <span class="model" itemprop="model">107-0001 BEKKO2</span>
    .....                   
           <span class="price" itemprop="price" content="2349.00">2 349 KČ            </span>
    ..
</li>

<li class="item col-sm-4 col-xs-6" product-id="13456" itemscope  itemtype="http://schema.org/Product">
    .....
      <span class="product-name" itemprop="name">35/139 Tokyo</span>
    .....
        <span class="model" itemprop="model"> Model 3 </span>
    .....                   
           <span class="price" itemprop="price" content="2459.00">2 459 KČ            </span>
    ..
</li>
....

И так далее, каждый ли имеет модель этой марки.

Для этого я создал класс пауков:

import scrapy

class EyreimSpider(scrapy.Spider):

    name = "eyerim"
    def start_requests(self):
        urls = [
            'http://eyerim.cz/brand/35-139-tokyo/'
        ]
        for url in urls:
            yield scrapy.Request(url=url, callback=self.parse)

    def parse(self, response):
        for models in response.css('li.item.col-sm-4.colxs-6'):  #holds all the models
            yield {
                #'product_name': models.css('span.product-name').get(),
                #'price': models.css('span.price::text').get().partition('K')[0].rstrip().replace(u'\xa0', u''),    
                'model' : models.css('span.model::text').extract(),
                'price':  models.css('span::attr(content)').extract()
            }           

Но когда я запускаю паука, нет результатов:

Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min)

Работа с выражениями response.css. Я попробовал их все в лоскутной оболочке, и они возвращают результаты .... Я пытаюсь выяснить это со вчерашнего дня, но безуспешно ... какие-нибудь идеи? предложения ??? Спасибо

1 Ответ

2 голосов
/ 13 апреля 2019

Насколько я вижу ваш пример кода.Вы набрали colxs-6 вместо col-xs-6 в cse item selsector.
Поскольку scrapy не может найти элемент с классом colxs-6 -> EyreimSpider.parse метод не может получить данные

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...