Итерация формы с использованием Scrapy - PullRequest
Новая
       28

Итерация формы с использованием Scrapy

1 голос
/ 02 июля 2019

Мне нужно перебрать форму, заполнив ее разными вариантами. Я уже могу сканировать / удалять данные с использованием Scrapy и Python для одного набора переменных, но мне нужно перебрать их список.

В настоящее время мой паук может войти в систему, заполнить форму и удалить данные.

Для входа и заполнения формы я использую: 

class FormSpider(CrawlSpider):
    name= 'formSpider'
    allow_domain = ['example.org']
    start_urls = ['https://www.example.org/en-en/']

    age = '35'
    days = '21'
    S1 = 'abc'
    S2 = 'cde'
    S3 = 'efg'
    S4 = 'hij'

    def parse(self, response):
        token = response.xpath('//*[@name="__VIEWSTATE"]/@value').extract_first()
        return FormRequest.from_response(response,
                                         formdata={'__VIEWSTATE': token,
                                                   'Password': 'XXXXX',
                                                   'UserName': 'XXXXX'},
                                         callback=self.scrape_main)

И я использую этот код для заполнения формы: 

    def parse_transfer(self, response):
            return FormRequest.from_response(response,
                                           formdata={"Age" : self.age,
                                                     "Days" : self.days,
                                                     "Skill_1" : self.S1,
                                                     "Skill_2" : self.S2,
                                                     "Skill_3" : self.S2,
                                                     "Skill4" : self.S3                                                     
                                                     "butSearch" : "Search"},
                                           callback=self.parse_item)

Затем я собираю данные и экспортирую их как CSV.

Теперь мне нужно перебрать входные данные из формы. Я думал об использовании списка для каждой переменной для изменения формы каждый раз (мне нужно только определенное количество комбинаций). 

    age = ['35','36','37','38']
    days = ['10','20','30','40']
    S1 = ['abc','def','ghi','jkl']
    S2 = ['cde','qwe','rty','yui'] 
    S3 = ['efg','asd','dfg','ghj']
    S4 = ['hij','bgt','nhy','mju']

Так что я могу перебрать форму так: 

age[0],days[0],S1[0],S2[0],S3[0],S4[0]... age[1],days[1]... and so on

Любая рекомендация? Я открыт для различных вариантов (не только списков), чтобы избежать создания нескольких пауков.

UPDATE

Это окончательный код: 

    def parse_transfer(self, response):
            return FormRequest.from_response(response,
                                           formdata={"Age" : self.age,
                                                     "Days" : self.days,
                                                     "Skill_1" : self.S1,
                                                     "Skill_2" : self.S2,
                                                     "Skill_3" : self.S2,
                                                     "Skill4" : self.S3                                                     
                                                     "butSearch" : "Search"},
                                           dont_filter=True,
                                           callback=self.parse_item)
    def parse_item(self, response):
        open_in_browser(response)
        # it opens all the websites after submitting the form :)

1 Ответ

1 голос
/ 02 июля 2019

Трудно понять, что должен делать ваш текущий parse_transfer(), потому что у вашего FormSpider нет self.skill_1, который мы можем видеть.Также вам может не потребоваться наследовать от CrawlSpider здесь.И измените returns на yields.

Чтобы выполнить итерацию в форме, я рекомендую заменить имеющиеся у вас атрибуты паука списками, которые вы будете использовать для итерации.

Затем выполните цикл вparse_transfer()

def parse_transfer(self, response):
    for i in range(len(age)):
        yield FormRequest.from_response(response,
                                       formdata={"Age" : self.age[i],
                                                 "Days" : self.days[i],
                                                 "Skill_1" : self.S1[i],
                                                 "Skill_2" : self.S2[i],
                                                 "Skill_3" : self.S3[i],
                                                 "Skill_4" : self.S4[i]
                                                 "butSearch" : "Search"},
                                       callback=self.parse_item)

Возможно, это нереалистичное решение, основанное на том, как веб-сайт принимает запросы.

...