Мне нужно соскрести все цены и модели со следующей страницы:
<li class="item col-sm-4 col-xs-6" product-id="156385" itemscope itemtype="http://schema.org/Product">
.....
<span class="product-name" itemprop="name">35/139 Tokyo</span>
.....
<span class="model" itemprop="model">107-0001 BEKKO2</span>
.....
<span class="price" itemprop="price" content="2349.00">2 349 KČ </span>
..
</li>
<li class="item col-sm-4 col-xs-6" product-id="13456" itemscope itemtype="http://schema.org/Product">
.....
<span class="product-name" itemprop="name">35/139 Tokyo</span>
.....
<span class="model" itemprop="model"> Model 3 </span>
.....
<span class="price" itemprop="price" content="2459.00">2 459 KČ </span>
..
</li>
....
И так далее, каждый ли имеет модель этой марки.
Для этого я создал класс пауков:
import scrapy
class EyreimSpider(scrapy.Spider):
name = "eyerim"
def start_requests(self):
urls = [
'http://eyerim.cz/brand/35-139-tokyo/'
]
for url in urls:
yield scrapy.Request(url=url, callback=self.parse)
def parse(self, response):
for models in response.css('li.item.col-sm-4.colxs-6'): #holds all the models
yield {
#'product_name': models.css('span.product-name').get(),
#'price': models.css('span.price::text').get().partition('K')[0].rstrip().replace(u'\xa0', u''),
'model' : models.css('span.model::text').extract(),
'price': models.css('span::attr(content)').extract()
}
Но когда я запускаю паука, нет результатов:
Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min)
Работа с выражениями response.css. Я попробовал их все в лоскутной оболочке, и они возвращают результаты .... Я пытаюсь выяснить это со вчерашнего дня, но безуспешно ... какие-нибудь идеи? предложения ??? Спасибо