Просматривая указанные элементы на странице, используя scrapy - PullRequest
0 голосов
/ 13 ноября 2018

У меня проблемы с попыткой ввести и проанализировать несколько элементов на странице.

У меня есть определенная страница, которая содержит элементы, код выглядит примерно так

class Spider(CrawlSpider):

name = 'spider'
maxId = 20
allowed_domain = ['www.domain.com']
start_urls = ['http://www.startDomain.com']

В стартовом URL у меня есть несколько элементов, которые следуют в XPath по следующему пути (в пределах startDomain):

def start_requests(self):

    for i in range(self.maxId):
        yield Request('//*[@id="result_{0}"]/div/div/div/div[2]/div[1]/div[1]/a/h2'.format(i) , callback = self.parse_item)

Я бы хотел найти способ получить доступ к каждой из этих ссылок (привязанных к результату {число}), а затем очистить содержимое этого определенного элемента.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...