Добавить к ответу johnnydoe
Будет:
response.xpath('*//a/@href').extract_first()
response.xpath('*//a/@class').extract_first()
response.xpath('*//a/@title').extract_first()
Если вы хотите получить только href, вы должны найти верхний тег ... как это:
<li>
<a id="nav-questions" href="/questions">
</li>
Будет:
response.xpath('...some uniq selector.../li/a/@href').extract_first()