Scrapy не может войти - PullRequest
       6

Scrapy не может войти

0 голосов
/ 06 июня 2019

Я пытаюсь почистить форум, но не могу войти. Я проверил инструменты chrome dev и обнаружил, что на этом сайте нет токена и т. Д. Однако Formrequest не работает.Может ли кто-нибудь узнать, что я делаю не так?

class WbcSpider(scrapy.Spider):
  '''
  yield_dict: mandantory keys
    db_handler
    meta_dict
    error
    result
  '''
  name = 'wbc'

  def __init__(self):
    super().__init__()
    self.start_ric_url_dict = {
        'wbc': 'https://hotcopper.com.au/asx/wbc/discussion/?post_view=0'
    }

    # flags' dict for determing whether keep scraping
    self.comment_cont_dict = dict()
    self.post_cont_dict = dict()
    self.max_old_num = 5
    self.stop_date_flag = dp.parse('2018-12-31')
    self.scrapy_meta_keys = [
        'depth', 'download_timeout', 'download_slot', 'download_latency', '_id'
    ]


  def start_requests(self):
    yield scrapy.Request('https://hotcopper.com.au/login/', callback=self.login)

  def login(self, response):
    yield scrapy.FormRequest.from_response(
        response,
        formdata={
            'login': '***',
            'password': '***',
            'remember': '1',
            'cookie_check': '1',
            'tos': '1',
            'redirect': 'https://hotcopper.com.au/',
            '_xfToken': '',
            '_xfResponseType': 'json',
            '_xfRequestUri': '/login/'
        },
        callback=self.after_login, dont_filter=True)
Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...