При использовании селекторов в scrapy вы должны сначала импортировать scrapy's Selector
, например:
from scrapy.selector import Selector
Правильный способ использования xpath в scrapy теперь заключается в использовании класса Selector
, например:
response = '''<h1>
<a href="https://www.facebook.cpm/" title="Go to Facebook home">
<i class="fb_logo img sp_z3EmYTfbUvU_1_5x sx_91465b">...</i>
</a>
</h1>'''
title = Selector(text=response).xpath('//h1/a/@title').extract()
Это вернет объект списка:
['Go to Facebook home']
Теперь вы можете получить текст в виде строки, используя индекс списка:
title[0]
Я настоятельно рекомендую прочитать scrapy docs , особенно на селекторах и даже узнать о xpath тоже.