Scrapy xpath iterate (работает с оболочкой)

Question

Я пытаюсь соскрести некоторую информацию из компании Великобритании.Я установил соединение с сайтом через оболочку и с помощью команды

 scrapy shell https://beta.companieshouse.gov.uk/search?q=a

и с помощью

response.xpath('//*[@id="results"]').extract()

мне удалось получить результаты обратно.

Я пыталсяположить это в программу, чтобы я мог экспортировать его в CSV или JSON.Но у меня проблемы с тем, чтобы заставить его работать .. Вот что я получил;

import scrapy


class QuotesSpider(scrapy.Spider):
name = "gov2"

def start_requests(self):
    start_urls = ['https://beta.companieshouse.gov.uk/search?q=a']

def parse(self, response):
    products = response.xpath('//*[@id="results"]').extract()
    print(products)

Очень просто, но много пробовал.Любое понимание будет оценено !!

Answer 1

Эти строки кода являются проблемой:

def start_requests(self):
    start_urls = ['https://beta.companieshouse.gov.uk/search?q=a']

Метод start_requests должен возвращать итерируемое значение Request с;ваш возвращает None.

По умолчанию start_requests создает эту итерацию из URL-адресов, указанных в start_urls, поэтому простое определение ее как переменной класса (вне какой-либо функции) без переопределения start_requests будет работатькак хочешь.

Answer 2

Попробуйте сделать:

import scrapy


class QuotesSpider(scrapy.Spider):

    name = "gov2"
    start_urls = ["https://beta.companieshouse.gov.uk/search?q=a"]

    def parse(self, response):
        products = response.xpath('//*[@id="results"]').extract()
        print(products)