Scrapy - простой скребок текста внутри ссылки href

Question

Я новичок в области скрапинга уже 2 года, так что это потенциально лишний вопрос.Я пытаюсь вычеркнуть простой текст, который является историей внутри ссылки href.Я попытался //a.text (), используя scrapy shell, но он ничего не очистил.Я также хочу вывести в базу данных или текстовый файл (Scrapy Project).Сайт: http://www.nderf.org/Experiences/

РЕДАКТИРОВАТЬ: Теперь я могу просматривать названия ссылок, но не текст (истории) в теге @href.

import scrapy

from ..items import NdeItem


class NDESpider(scrapy.Spider):
    name='NDEstories'
    allowed_domains=["nderf.org"]
    headers=['author','desc','story']
    download_delay=1.5
    item = []

    start_urls = ["http://www.nderf.org/Archives/exceptional.html"]


    def start_requests(self):
        requests = []
        for item in self.start_urls:
            requests.append(scrapy.Request(url=item, headers={'Referer': 'https://www.google.com/'}))
            return requests


    def parse(self, response):
        #/ html / body / div[2] / section[2] / div / p / strong / span / a

         a_selectors=response.xpath('//a[@class="MiniLink"]')
         href_selector=response.xpath('@href')

         for selector in a_selectors:
            items = []
            item = NdeItem()  # type: NdeItem
            item['author'] = selector.xpath('text()').extract_first()
            item['desc'] = selector.xpath('@href').get()
            item['story'] = selector.xpath('@href/text()').get()
            items.append(item)

            # Create a new Request object
            request = response.follow(item['desc'], callback=self.parse)

            # Return it thanks to a generator

            with open ('log.txt','a') as f:
                f.write('author:{0}\n desc:{1}\n story:{2}\n'.format(item['author'],item['desc'], item['story']))
            yield request

Answer 1

response.xpath('.//a/@href').get()