Кажется, что содержимое этой страницы загружается динамически, поэтому вы не смогли получить доступ к элементам через xpath. Для этого я бы предложил использовать Selenium вместо Scrapy, но если вы действительно хотите сделать это с помощью scrapy, используйте плагин scrapy-spla sh.
Источник: Работа над динамическим содержанием c в Scrapy