Пробелы между очищенными значениями в Scrapy - PullRequest
Новая
       29

Пробелы между очищенными значениями в Scrapy

0 голосов
/ 26 сентября 2018

Я пытаюсь использовать Scrapy, чтобы очистить некоторые объекты со следующей страницы:

https://www.reclameaqui.com.br/indices/lista_reclamacoes/?id=9980&page=1&size=10&status=ALL

Используя следующий код: 

class MySpider(scrapy.Spider):
    name = 'reclame_aqui'
    allowed_domains = ["https://www.reclameaqui.com.br"]
    start_urls = ["https://www.reclameaqui.com.br/indices/lista_reclamacoes/?id=9980&page=1&size=10&status=ALL"]

def start_requests(self):
    for url in self.start_urls:
        yield SplashRequest(url, self.parse,
            endpoint='render.html',
            args={'wait': 0.5},
        )

def parse(self, response):
    title = response.xpath('//*[contains(@class, "complaint-item ng-scope")]//*[contains(@class, "complain-status-title")]//text()').extract()
    status = response.xpath('//*[contains(@class, "complaint-item ng-scope")]//*[contains(@class, "status-text ng-binding")]//text()').extract()
    business = response.xpath('//*[contains(@class, "complaint-item ng-scope")]//*[contains(@class, "business-name ng-binding")]//text()').extract()
    city_date = response.xpath('//*[contains(@class, "complaint-item ng-scope")]//*[contains(@class, "detail-city-date ng-binding")]//text()').extract()

    print(title)
    print(status)
    print(business)
    print(city_date)

Когда яПри запуске spider переменные «status» и «business» возвращаются так: 

['Respondida', 'Resolvido', 'Resolvido', 'Resolvido', 'Não Respondida', 'Resolvido', 'Resolvido', 'Resolvido', 'Resolvido', 'Resolvido']
['Disk Ingressos', 'Disk Ingressos', 'Disk Ingressos', 'Disk Ingressos', 'Disk Ingressos', 'Disk Ingressos', 'Disk Ingressos', 'Disk Ingressos', 'Disk Ingressos', 'Disk Ingressos']

Но «title» и «city_date» возвращаются так: 

[' ', ' ', 'Isso é [Editado pelo Reclame Aqui]', ' ', ' ', ' ', ' ', 'prometeram e não cumpriram', ' ', ' ', ' ', ' ', 'Telemarketing Ineficiênte e chato', ' ', ' ', ' ', ' ', 'Cobranças indevida e não resolvem!', ' ', ' ', ' ', ' ', 'Agendamento de Instalação', ' ', ' ', ' ', ' ', 'Falta de respeito com o cliente.', ' ', ' ', ' ', ' ', 'Não conseguem colocar meu telefone fixo para funcionar', ' ', ' ', ' ', ' ', 'Telefone sem funcionamento ', ' ', ' ', ' ', ' ', 'Cobrança hero', ' ', ' ', ' ', ' ', 'Agendamento de retirada de Modem para devolução', ' ', ' ']

[' ', 'Curitiba', ' ', ' 25/09/18 às 19h33 ', ' ', ' ', 'Curitiba', ' ', ' 25/09/18 às 17h13 ', ' ', ' ', 'Itabuna', ' ', ' 20/09/18 às 13h18 ', ' ', ' ', 'Curitiba', ' ', ' 19/09/18 às 09h37 ', ' ', ' ', 'Araucária', ' ', ' 17/09/18 às 21h18 ', ' ', ' ', 'Curitiba', ' ', ' 14/09/18 às 21h04 ', ' ', ' ', 'São José dos Pinhais', ' ', ' 12/09/18 às 16h56 ', ' ', ' ', 'Curitiba', ' ', ' 12/09/18 às 05h45 ', ' ', ' ', 'Londrina', ' ', ' 11/09/18 às 15h53 ', ' ', ' ', 'Curitiba', ' ', ' 10/09/18 às 11h49 ', ' ']

Я не знаюНе знаю, почему он возвращает эти пробелы между значениями для очистки, как я могу очистить результаты без пробелов или мне нужно удалить их после очистки?

(я также использую всплеск для отображения страницы, потому что это страница с большим количеством javascript, но я не думаю, что это должно повлиять на очистку)

1 Ответ

0 голосов
/ 26 сентября 2018

Пробелы обычно появляются из-за тегов <br> из HTML.К сожалению, это очень часто встречается на сайтах.Что вы можете сделать, чтобы решить эту проблему, и именно поэтому я использую, чтобы присоединиться к списку.

[x for x in city_date if x.strip() != ""]

Credtis @Sven H. для решения

...