Моя цель - войти на любой сайт, используя scrapy python.
import scrapy
from scrapy.crawler import CrawlerProcess
class ValidateURL:
def checkURL(self,urls):
self.runScrap(value)
def runScrap(self,data):
if data:
process = CrawlerProcess()
process.crawl(q.QuotesSpider, start_urls=data['url'])
process.start()
# -*- coding: utf-8 -*-
from scrapy import Spider
from scrapy.http import FormRequest
from scrapy.utils.response import open_in_browser
import sys
import logging
from bs4 import BeautifulSoup
# import scrapy
# from scrapy.crawler import CrawlerProcess
logging.basicConfig(filename='app.log',level=logging.INFO)
class QuotesSpider(Spider):
name = 'quotes'
start_urls = ('https://quotes.toscrape.com/login',)
def parse(self, response):
pass
def fetch_form_data(self,response):
pass
def scrape_pages(self, response):
pass
Могу ли я узнать, как я могу обновить переменную класса start_urls
, которая является переменной базового класса (Паук) на data['URL']
, который передается из другого класса. Как я могу назначить start_urls с параметром, переданным из класса ValidateURL. Могли бы некоторые, пожалуйста, найти то, чего не хватает в моем коде