Почему я получаю свой результат в оболочке, но не мой экспорт?

Question

Мне было интересно, почему в оболочке scrapy я получаю свой результат обратно, однако, когда пытаюсь реализовать его в сценарии.Это терпит неудачу и показывает нулевые поля.Как бы вы это назвали?И как это поправимо?

Скриншот моего вывода:

Оболочка:

>>> response.css("#content2 > strong:nth-child(2) > address:nth-child(2) > div:nth-child(1) > a:nth-child(9) > span:nth-child(1)::text").extract_first()
u'GU17 9AB'

Фрагмент моего кода:

import scrapy
import re
from scrapy.linkextractors import LinkExtractor


class QuotesSpider(scrapy.Spider):

  name = 'CYRecursive'
  start_urls = [
      'https://www.companiesintheuk.co.uk/Company/Find?q=a']

  def parse(self, response):

    for company_url in response.xpath('//div[@class="search_result_title"]/a/@href').extract():
      yield scrapy.Request(
          url=response.urljoin(company_url),
          callback=self.parse_details,
      )

  def parse_details(self, response):

    # Looping throught the searchResult block and yielding it

    for i in response.css('div.col-md-6'):
        if not i.css('#content2 > strong:nth-child(2) > strong:nth-child(1)'):
            continue
        yield {
            'company_name': i.css('#content2 > strong:nth-child(2) > strong:nth-child(1) > div:nth-child(1)::text').get(),
            'address': i.css("#content2 > strong:nth-child(2) > address:nth-child(2) > div:nth-child(1) > span:nth-child(1)::text").extract_first(),
            'location': i.css("#content2 > strong:nth-child(2) > address:nth-child(2) > div:nth-child(1) > span:nth-child(3)::text").extract_first(),
            'postal_code': i.css("#content2 > strong:nth-child(2) > address:nth-child(2) > div:nth-child(1) > a:nth-child(9) > span:nth-child(1)::text").extract_first(),
        }

Часть, которая доставляет мне неприятности:

'postal_code': i.css("#content2 > strong:nth-child(2) > address:nth-child(2) > div:nth-child(1) > a:nth-child(9) > span:nth-child(1)::text").extract_first(),

Спасибо!

Answer 1

Не уверен, что это то, что вы хотели захватить. Попробуйте следующее:

  def parse_details(self, response):
    for i in response.css('#content2'):
        yield {
            'company_name': i.css('[itemprop="name"]::text').get(),
            'address': i.css('[itemprop="streetAddress"]::text').extract_first(),
            'location': i.css("[itemprop='addressLocality']::text").extract_first(),
            'postal_code': i.css("[itemprop='postalCode']::text").extract_first(),
        }