Я пытаюсь очистить таблицу, которая появляется после страницы входа, с помощью скрапа.Страница входа - http://subscribers.footballguys.com/amember/login.php,, а веб-страница, которую я пытаюсь почистить, - https://subscribers.footballguys.com/myfbg/myweeklycheatsheet.php.
Я пытался следовать учебным пособиям из документации Scrapy , а также здесь , но я не получаю никаких ответов (даже привет).Ниже мой код.Я также могу предоставить любую другую необходимую информацию.Заранее спасибо!
import scrapy
class FbgQbSpider(scrapy.Spider):
name = 'fbg_qb'
allowed_domains = ['www.footballguys.com/']
start_urls = ['http://subscribers.footballguys.com/amember/login.php']
def parse(self, response):
return scrapy.FormRequest.from_response(
response,
formdata={'amember_login': 'example@gmail.com', 'amember_pass': 'examplepassword'},
callback=self.after_login
)
def after_login(self, response):
#check login success before going on
View(response)
if "authentication failed" in response.body:
self.logger.error("Login failed")
return
fetch("https://subscribers.footballguys.com/myfbg/myweeklycheatsheet.php")
players = response.css("span::text").extract()
for item in zip(players):
scraped_info = {
'player' : item[0]
}
yield scraped_info
print("hello world")