Я знаю, что это мой код, потому что я отстой. Когда я запускаю scrapy crawl myscrapybotname
в терминале 287 ссылок, я пытаюсь очистить и записать нормально мой терминал;Когда я запускаю запрос к базе данных MySQL, только первая ссылка записывается 287 раз. Что не так с моим кодом?
import scrapy
from ..items import LinkscrapeItem
class Linkscrape(scrapy.Spider):
name = 'lnkscrapespider'
start_urls = [
'https://www.redacted.com'
]
def parse(self, response):
items = LinkscrapeItem()
links = response.xpath("//li/a/@href").extract()
for link in links:
items['links'] = links
yield{
'links': links
}