Ошибка ключа scrapy и URL-адрес следующей страницы не работает - PullRequest
Новая
       67

Ошибка ключа scrapy и URL-адрес следующей страницы не работает

0 голосов
/ 06 мая 2020

Я пытаюсь отказаться от использования этой страницы в качестве начального URL: https://www.imdb.com/lists/tt0237478?ref_=tt_rls_sm На этой странице 3 списка, и один из списков содержит более 100 элементов. Мой код удаляет только 100 элементов и не извлекает данные со следующей страницы. Пожалуйста, проверьте, что не так с кодом. 

import scrapy
from urllib.parse import urljoin
class lisTopSpider(scrapy.Spider):
    name= 'ImdbListsSpider'
    allowed_domains = ['imdb.com']
    start_urls = [
        'https://www.imdb.com/lists/tt0237478'
    ]

    def parse(self, response):
        listsLinks = response.xpath('//div[2]/strong')
        for link in listsLinks:
            list_url = response.urljoin(link.xpath('.//a/@href').get())
            yield scrapy.Request(list_url, callback=self.parse_list, meta={'list_url': list_url})

        next_page_url = response.xpath('//a[@class="flat-button next-page "]/@href').get()
        if next_page_url is not None:
            next_page_url = response.urljoin(next_page_url)
            yield scrapy.Request(next_page_url, callback=self.parse)            

    def parse_list(self, response):
        list_url = response.meta['list_url']
        titles = response.xpath('//h3/a/@href').getall()

        next_page_url = response.xpath('//a[@class="flat-button lister-page-next next-page"]/@href').get()
        if next_page_url is not None:
            next_page_url = urljoin('https://www.imdb.com',next_page_url)
            print('here is next page url')
            print(next_page_url)
            yield scrapy.Request(next_page_url, callback=self.parse_list)  

        yield{
            'listurl': list_url,
            'titles': titles,
        }

Вот ошибка 

2020-05-06 21:09:29 [scrapy.core.scraper] ERROR: Spider error processing <GET https://www.imdb.com/list/ls055923961/?page=2> (referer: https://www.imdb.com/list/ls055923961/)
Traceback (most recent call last):
  File "c:\python projects\scrapy\imdb_project\virenv\lib\site-packages\scrapy\utils\defer.py", line 117, in iter_errback
    yield next(it)
  File "c:\python projects\scrapy\imdb_project\virenv\lib\site-packages\scrapy\utils\python.py", line 345, in __next__   
    return next(self.data)
  File "c:\python projects\scrapy\imdb_project\virenv\lib\site-packages\scrapy\utils\python.py", line 345, in __next__   
    return next(self.data)
  File "c:\python projects\scrapy\imdb_project\virenv\lib\site-packages\scrapy\core\spidermw.py", line 64, in _evaluate_iterable
    for r in iterable:
  File "c:\python projects\scrapy\imdb_project\virenv\lib\site-packages\scrapy\spidermiddlewares\offsite.py", line 29, in process_spider_output
    for x in result:
  File "c:\python projects\scrapy\imdb_project\virenv\lib\site-packages\scrapy\core\spidermw.py", line 64, in _evaluate_iterable
    for r in iterable:
  File "c:\python projects\scrapy\imdb_project\virenv\lib\site-packages\scrapy\spidermiddlewares\referer.py", line 338, in <genexpr>
    return (_set_referer(r) for r in result or ())
  File "c:\python projects\scrapy\imdb_project\virenv\lib\site-packages\scrapy\core\spidermw.py", line 64, in _evaluate_iterable
    for r in iterable:
  File "c:\python projects\scrapy\imdb_project\virenv\lib\site-packages\scrapy\spidermiddlewares\urllength.py", line 37, 
in <genexpr>
    return (r for r in result or () if _filter(r))
  File "c:\python projects\scrapy\imdb_project\virenv\lib\site-packages\scrapy\core\spidermw.py", line 64, in _evaluate_iterable
    for r in iterable:
  File "c:\python projects\scrapy\imdb_project\virenv\lib\site-packages\scrapy\spidermiddlewares\depth.py", line 58, in <genexpr>
    return (r for r in result or () if _filter(r))
  File "c:\python projects\scrapy\imdb_project\virenv\lib\site-packages\scrapy\core\spidermw.py", line 64, in _evaluate_iterable
    for r in iterable:
  File "C:\Python Projects\Scrapy\imdb_project\imdb_project\spiders\TopLists.py", line 29, in parse_list
    list_url = response.meta['list_url']
KeyError: 'list_url'

1 Ответ

3 голосов
/ 06 мая 2020

Вы используете Request.meta для предоставления list_url вашему методу parse_list в методе parse-, но вы забыли использовать его в своем вызове Request внутри parse_list для следующих страниц.
Просто добавьте meta={'list_url': list_url} на ваш Request внутри parse_list, и он должен работать нормально.

Таким образом, обработка следующих страниц в parse_list должна выглядеть так: 

if next_page_url is not None:
    next_page_url = urljoin('https://www.imdb.com', next_page_url)
    yield scrapy.Request(next_page_url, callback=self.parse_list, meta={'list_url': list_url})

Btw: After Scrapy 1.7 предпочтительный способ обработки пользовательской информации теперь - Request.cb_kwargs ( см. Раздел «Внимание» в официальном документе здесь )

...