Ротация прокси-сервера Scrapy Single Script - PullRequest
Новая
       6

Ротация прокси-сервера Scrapy Single Script

0 голосов
/ 04 августа 2020

Как я могу сделать python скрипт scrap для очистки (для демонстрации) веб-сайта, используя ротацию прокси?

Будет замечательно, если кто-нибудь сможет мне помочь.! Ниже приведен код, пожалуйста, используйте его и помогите мне! 

class Price(scrapy.Item):
  product_price = scrapy.Field()
  pass

class PriceScrape(scrapy.Spider): 
  name = 'price_spider'
  download_delay = 3
  start_urls = url_list

  def parse(self, response):
    items = CheckCampaignPrice()
    product_price = response.css('#exampletag').css('::text').extract()
                
    items['product_price'] = product_price
    print()
    yield items
    print()
    price_list.append(items)
                
               
process = CrawlerProcess()
process.crawl(PriceScrape)
process.start()
...