Как очистить другой URL и добавить данные в набор элементов - Scrapy - PullRequest
0 голосов
/ 20 февраля 2020

Я пытаюсь добавить прогноз вчера и завтра к набору данных, и я не вижу, как передать URL вчера и завтра, я пытаюсь добавить, но это добавляет информацию к моим фактическим полям, и мне нужно добавить каждый один к соответствующему полю на БД

def parse_daily(self, response):
        morePredictions = response.css('div.more-data > a::attr(href)').extract()
        yesterday = response.css('main > nav > a:nth-child(1)::attr(href)').extract_first()
        tomorrow = response.css('main > nav > a:nth-child(3)::attr(href)').extract_first()
        morePredictions.append(yesterday)
        morePredictions.append(tomorrow)

        item = {
                'name':sign,
                'Description':descripcion,
            }

        for signurl in morePredictions:
            absolute_url = response.urljoin(signurl)
            yield response.follow(absolute_url,meta={"signUrl": signurl, "signName": sign, 'item': item}, callback=self.parse_extras)

1 Ответ

0 голосов
/ 20 февраля 2020

Можете поделиться полным кодом? Вы можете использовать start_urls. Я предполагаю, что обе ссылки имеют одинаковую структуру html, поэтому при запуске start_urls он будет очищать обе ссылки одним и тем же методом разбора. Я думаю, вам нужно сменить логи c.

...