Scrapy FormRequest

Question

У меня проблемы со скрапом FormRequest.Я пытаюсь получить все отзывы с этой страницы (бесконечная прокрутка): https://www.temporel -voyance.com / voyance / планирование / консультации-voyants-en-privee / angele / 1041

Когда я выполняю прокрутку, я вижу пост-запрос с формой данных: {xyz ":" 3 "}

Но когда я пытаюсь сделать это с помощью командной строки scrapy, я не могу получить правильный ответ.

from scrapy import FormRequest

fetch("https://www.temporel-voyance.com/voyance/planning/consultations-voyants-en-privee/angele/1041")

req = FormRequest(response.url, formdata={"xyz":"3"})

fetch(req)

Я смотрел на эту страницу: https://blog.scrapinghub.com/2016/06/22/scrapy-tips-from-the-pros-june-2016 но яя все еще застрял.

Кто-нибудь может мне помочь?

Большое спасибо! Мюльха

Answer 1

Если вы лучше посмотрите на сделанный запрос, то увидите, что он на самом деле имеет другой URL-адрес, https://www.temporel -voyance.com / voyants / temoignages? Voyant_id = 1041

Если высделав запрос формы на этот URL, вы получите обновленные данные:

>>> req = scrapy.FormRequest('https://www.temporel-voyance.com/voyants/temoignages?voyant_id=1041', formdata={'xyz': '3'})
>>> fetch(req)
2018-10-20 13:43:42 [scrapy.core.engine] DEBUG: Crawled (200) <POST https://www.temporel-voyance.com/voyants/temoignages?voyant_id=1041> (referer: None)
>>> response.css('.name_user b::text').getall()
['Chou', 'Jérôme', 'Sonia']