Я пытаюсь почистить форум, но не могу войти. Я проверил инструменты chrome dev и обнаружил, что на этом сайте нет токена и т. Д. Однако Formrequest не работает.Может ли кто-нибудь узнать, что я делаю не так?
class WbcSpider(scrapy.Spider):
'''
yield_dict: mandantory keys
db_handler
meta_dict
error
result
'''
name = 'wbc'
def __init__(self):
super().__init__()
self.start_ric_url_dict = {
'wbc': 'https://hotcopper.com.au/asx/wbc/discussion/?post_view=0'
}
# flags' dict for determing whether keep scraping
self.comment_cont_dict = dict()
self.post_cont_dict = dict()
self.max_old_num = 5
self.stop_date_flag = dp.parse('2018-12-31')
self.scrapy_meta_keys = [
'depth', 'download_timeout', 'download_slot', 'download_latency', '_id'
]
def start_requests(self):
yield scrapy.Request('https://hotcopper.com.au/login/', callback=self.login)
def login(self, response):
yield scrapy.FormRequest.from_response(
response,
formdata={
'login': '***',
'password': '***',
'remember': '1',
'cookie_check': '1',
'tos': '1',
'redirect': 'https://hotcopper.com.au/',
'_xfToken': '',
'_xfResponseType': 'json',
'_xfRequestUri': '/login/'
},
callback=self.after_login, dont_filter=True)