Как передать разные списки прокси-серверов различным сайтам, использующим местоположение, используя драйвер selenium chrome и python? - PullRequest
Новая
       27

Как передать разные списки прокси-серверов различным сайтам, использующим местоположение, используя драйвер selenium chrome и python?

0 голосов
/ 18 апреля 2020

Я новичок в python Соскоб!

1. Как применить список прокси для каждой страны к моему URL (100 сайтов разных стран)

2. https://www.scrapehero.com/how-to-rotate-proxies-and-ip-addresses-using-python-3/ используя эту ссылку, я могу получить список прокси из Германии, Италии и др. c. 

   url = 'https://free-proxy-list.net/'
   response = requests.get(url)
   parser = fromstring(response.text)
   proxies = set()
   capabilities = { 'chromeOptions':  { 'useAutomationExtension': False}}
   driver = webdriver.Chrome(executable_path = 'chromedriver.exe',desired_capabilities = capabilities)
   driver.get(url)
   driver.find_element_by_xpath('//*[@id="proxylisttable_filter"]/label/input').send_keys('Germany')
   for i in parser.xpath('//tbody/tr')[:30]: #300 entities present
       if i.xpath('.//td[7][contains(text(),"yes")]'):
           #joining ip address and port
           proxy = ":".join([i.xpath('.//td[1]/text()')[0], i.xpath('.//td[2]/text()')[0]])
           proxies.add(proxy)
   return proxies

3.i'am также использует драйвер chrome для вызова прокси 

      PROXY = list_of_proxy
            chrome_options = webdriver.ChromeOptions()
            chrome_options.add_argument('--proxy-server=%s' % PROXY)

            capabilities = { 'chromeOptions':  { 'useAutomationExtension': False}}
            driver = webdriver.Chrome(executable_path = 'chromedriver.exe',desired_capabilities = 
             capabilities, chrome_options=chrome_options)

4.Как передать список прокси-серверов Германии (несколько адресов прокси-сервера показывают ошибку соединения) аналогично для этого конкретного сайта Германии, аналогично для веб-сайтов разных стран с указанием местоположения вместе с подходящим прокси.

5. как дать условие для запуска сайта на основе местоположения с использованием подходящего прокси, пришлите мне несколько ссылок или подходящую статью для решения этой проблемы

...