Я действительно новичок ie во всем этом и просто пытаюсь узнать немного больше об этом. Так что мне очень помогли, но теперь я застрял на очень странной проблеме. Я собираю информацию из продуктового магазина в Австралии. Поскольку я нахожусь в штате Виктория, когда я go на веб-сайте, цена Redbull составляет 10,5 $, но как только я запускаю свой скрипт, я получаю 11,25 $. Я предполагаю, что это может иметь отношение к геолокации ... но не уверен. Мне в основном нужна помощь, чтобы найти, как найти правильную цену, которую я получаю, когда захожу на сайт. Кроме того, я заметил, что, когда я делаю go на тот же сайт со своего телефона, он дает мне цену 11,25 $, но если я go в приложение магазина, я получаю точную цену 10,5 $.
import json
import scrapy
class SpidervenderSpider(scrapy.Spider):
name = 'spidervender'
allowed_domains = ['woolworths.com.au']
start_urls = ['https://www.woolworths.com.au/shop/productdetails/306165/red-bull-energy-drink']
def parse(self, response):
product_schema = json.loads(response.css('script[type="application/ld+json"]::text').get())
yield {
'title': product_schema['name'],
'price': product_schema['offers']['price']
}
Таким образом, код работает отлично, но цена (я полагаю) для другой части Австралии.