My Scrapy for loop пишет одну и ту же ссылку 287 раз на MySQL - PullRequest
0 голосов
/ 27 октября 2019

Я знаю, что это мой код, потому что я отстой. Когда я запускаю scrapy crawl myscrapybotname в терминале 287 ссылок, я пытаюсь очистить и записать нормально мой терминал;Когда я запускаю запрос к базе данных MySQL, только первая ссылка записывается 287 раз. Что не так с моим кодом?

import scrapy
from ..items import LinkscrapeItem


class Linkscrape(scrapy.Spider):
    name = 'lnkscrapespider'
    start_urls = [
        'https://www.redacted.com'


    ]

    def parse(self, response):
        items = LinkscrapeItem()
        links = response.xpath("//li/a/@href").extract()

        for link in links:
            items['links'] = links
            yield{
                'links': links
            }
Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...