Назначьте прокси и пользовательские агенты внутри start_urls

Question

Я добавляю второго паука в свою программу scrapy, и я очищаю только один URL в этом пауке, поэтому мне было интересно, есть ли способ просто установить мой прокси и пользовательский агент внутри start_urls или нет, есть ли способустановить их внутри этого паука?

class LoginSpider(scrapy.Spider):
    name = 'login_spider'
    start_urls = ['https://www.starcitygames.com/myaccount/']

    def parse(self, response):
        # login and scrape website

Answer 1

class LoginSpider(scrapy.Spider):
    name = 'login_spider'
    my_urls = ['https://www.starcitygames.com/myaccount/']

    def start_requests(self):
        for url self.my_urls:
            yield Request(url, meta={'proxy': 'YOUR PROXY HERE'})

    def parse(self, response):
        # login and scrape website