Невозможно выбрать элементы с помощью scrapy-splash - PullRequest
Новая
       4

Невозможно выбрать элементы с помощью scrapy-splash

0 голосов
/ 27 февраля 2020

Я использую этот код для извлечения текста в указанном c классе ссылок. Я могу выбрать один элемент этого класса .extract_first(), и у меня нет всех элементов одного класса, я хочу иметь возможность выбрать их все и сохранить их в списке. Вот мой код: 

# -*- coding: utf-8 -*-
import scrapy
from scrapy_splash import SplashRequest

class MySpider(scrapy.Spider):
    name = "quotes4"

    start_urls = ["https://www.woolworths.com.au/shop/browse/drinks/cordials-juices-iced-teas/iced-teas"]

    def start_requests(self):
        for url in self.start_urls:
            yield SplashRequest(url=url, callback=self.parse)


    def parse(self, response):
        # I can select first element of class
        '''yield{ 
            'name': response.css(".shelfProductTile-descriptionLink::text").extract_first()
            }'''

        # But not all the elements of the same class
        a= response.css(".shelfProductTile-descriptionLink::text").extract()
        print ('list lengh is : ' + str(len(a)))   # OUTPUT  : 0

Я что-то не так делаю? Спасибо.

1 Ответ

0 голосов
/ 27 февраля 2020

Вам нужно использовать scrapy_spla sh для этого? Ваше заявление о доходности выглядит как обычный код scrapy, а не scrapy_spla sh. Если то, что вы извлекаете, это просто html (не javascript), то вам не нужен scrapy_spla sh.

...