Как скрести бесконечную страницу прокрутки в Reddit с помощью scrapy? - PullRequest
0 голосов
/ 20 мая 2019

Как очистить страницу бесконечной прокрутки в Reddit и добавить предельную прокрутку?

URL: https://www.reddit.com/r/teslamotors/new/

Я стремлюсь получить элементы на первой странице, но я получаю только несколько элементов.

То, что я пытался, это пойти инструмент разработчика и проверить XHR, но у меня другой подход и не могу найти страницу там.

Это то, что я использую для получения предмета.

response.xpath("//a[@class = 'b5szba-0 fMXvWW']/@href").getall()

Пожалуйста, помогите большое спасибо

...