Я пытаюсь заполнить эту онлайн-форму, чтобы перейти к следующему набору веб-страниц для моего проекта. Однако для этого требуется заполнить форму. Когда я пытаюсь заполнить эту форму с помощью scrapy, я получаю сообщение об ошибке, что поле формы отсутствует.
Когда я захожу на страницу просмотра источника, поле формы отсутствует, однако оно там, когда я использую элемент inspect. Это означает, что форма загружается динамически.
import scrapy
from scrapy.http import FormRequest
from scrapy.spiders import Spider
import requests
class InsuranceSpider(Spider):
name = 'Insurance'
rotate_user_agent = True
start_urls = ['https://termlife.policybazaar.com/utm_expid=.6JJVM9m0Q
cmm4qXpREX97w.1&utm_referrer=&utm_content=home_v5']
def parse(self,response):
title = response.css('title').extract()
data = {
'gender':'1',
'mobileNo':'9876543210',
'dob':'20-02-1967',
'name':'abc xyz',
'otherCountryCode': '91',
}
print(response.body)
FormRequest.from_response(response,data,callback=self.done)
def done(self):
print("done")
Вы можете нажать на ссылку, чтобы увидеть сайт, который я пытаюсь очистить. Кроме того, print (response.body) также не показывает тег формы. Как мне тогда передать данные в форму?