Я пытаюсь разобрать фамилии по следующей ссылке: members
from scrapy.spiders import XMLFeedSpider
#from datetime import datetime, date
from ..items import listsurnames
class spdrMP(XMLFeedSpider):
name = 'mp'
allowed_domains = ['ourcommons.ca']
start_urls = ['https://www.ourcommons.ca/Members/en/search/XML/']
interator = 'iternodes'
intertag = 'item'
def parse_node(self, response, node):
items = listsurnames()
items["Surname"] = node.xpath("//PersonOfficialLastName").get()
return items
Кажется, я не могу понять, как отлаживать xmlfeedspider, так как он не работает тот же метод использования scrapy shell
. Поэтому, пожалуйста, дайте мне знать, что я делаю неправильно в приведенном выше коде. Я также попытался добавить text()
.
Заранее спасибо!