Проблемы с входом на сайт с помощью scrapy FormRequest () - PullRequest
Новая
       8

Проблемы с входом на сайт с помощью scrapy FormRequest ()

0 голосов
/ 05 октября 2018

Я не специалист по питону или скраптингу, но я писал успешные скребки в прошлом.Это первый раз, когда я пытаюсь очистить веб-сайт, который требует логин, и я просто не могу заставить его работать.Это сайт https://www.doximity.com/signin, и вот код, который я сейчас пытаюсь.open_in_browser продолжает открывать исходную страницу входа без каких-либо ошибок или чего-либо еще, поэтому я не совсем уверен, где я ошибаюсь.Любая помощь будет высоко ценится.

import scrapy 
from scrapy.http import FormRequest
from scrapy.utils.response import open_in_browser

class DoxSpider(scrapy.Spider):
name = 'Doximity'
allowed_domains = ['doximity.com']
start_urls = ['https://www.doximity.com/signin']

def parse(self, response):
    token = response.xpath('//*[@name="csrf_token"]/@value').extract_first()
    yield FormRequest.from_response(
            response,
            formid='email',
            formname='login',
            formdata={
                    'csrf_token': token,
                    'login': 'username',             
                    'password': 'password',
                },
            dont_filter=True,
            callback=self.after_login)


def after_login(self, response):
    open_in_browser(response)
...