Очистка URL, который я получил от очистки страницы

Question

Я сталкиваюсь с некоторыми проблемами, пытаясь почистить страницу.Я задавал этот вопрос ранее, но, вероятно, мой вопрос был довольно запутанным.

Ссылка на предыдущий вопрос Очистка URL, который я удалил при разборе

В основном то, что я пытаюсь сделатьанализирует URL-адрес, полученный с другой страницы, с сохранением того же элемента.

Я получаю некоторые данные со страницы, которая назначается определенным полям элемента.Я хочу добавить дополнительные данные к этому элементу, но по URL-адресу, который я получаю при разборе предыдущего.

Примерно так:

def parse (self,response):

    someItem['name'] = 'something'
    someItem['size'] = 'something'

    #This URL i get from scraping the initial page
    followingURL = someURL

    yield Request(followingURL, callback = self.parseNext)

def parseNext (self,response):

    someItem['color'] = 'somethingIGetFromTheNewPage'

    yield someItem

Я пытался использовать что-то построки

yield Request(followingURL, callback = self.parseNext, meta={'someItem' : someItem})

Но это не сработало.

Как очистить новый URL-адрес при сохранении информации об элементе, которую я получил с помощью метода parse?

Answer 1

Вы использовали правильный путь.Это наиболее удобный способ передачи данных из одной функции в другую.Как вы получили данные в вашей функции parseNext?Должно быть так:

def parseNext(self, response):
    someItem = response.meta['someItem']
    someItem['color'] = 'somethingIGetFromTheNewPage'
    yield someItem