Ваша проблема не в сканировании следующей страницы, ваша проблема в вашем селекторе.
Прежде всего, при выборе элемента по классу рекомендуется использовать css .
Происходит то, что на других страницах нет элементов с классом offer-immediate.
Я внес несколько изменений в ваш код, см. Ниже:
from scrapy import Spider
from scrapy.http import Request
class PronobelSpider(Spider):
name = 'pronobel'
allowed_domains = ['pronobel.pl']
start_urls = ['http://pronobel.pl/praca-opieka-niemcy/']
def parse(self, response):
jobs = response.css('div.offers-list div.offer')
for job in jobs:
title = job.css('a.offer-title::text').extract_first()
start_date = job.css('div.offer-attr.offer-departure::text').extract_first()
place = job.css('div.offer-attr.offer-localization::text').extract_first()
language = job.css('div.offer-attr.offer-salary::text').extract()[1]
yield {'title': title,
'start_date': start_date,
'place': place,
'language': language,
'url': response.url}
next_page_url = response.css('li.page-nav.nav-next a::attr(href)').extract_first()
absolute_next_page_url = response.urljoin(next_page_url)
yield Request(absolute_next_page_url)