Selenium с использованием Python: введите / предоставьте пароль http-прокси для Firefox

Question

Я хочу использовать селен с прокси, который защищен паролем.Прокси не фиксированный, а переменная.Так что это должно быть сделано в коде (просто настроить firefox на этой конкретной машине для работы с прокси-сервером не совсем идеально).Пока у меня есть следующий код:

fp = webdriver.FirefoxProfile()
# Direct = 0, Manual = 1, PAC = 2, AUTODETECT = 4, SYSTEM = 5
fp.set_preference("network.proxy.type", 1)

fp.set_preference("network.proxy.http", PROXY_HOST)
fp.set_preference("network.proxy.http_port", PROXY_PORT)

driver = webdriver.Firefox(firefox_profile=fp)
driver.get("http://whatismyip.com")

В этот момент появляется диалоговое окно с запросом прокси-пользователя / прохода.

Существует ли простой способ:

1. Введите имя пользователя / пароль в диалоговом окне.
2. Укажите пользователя / пароль на более ранней стадии.

Answer 1

Селен не может сделать это сам по себе.Единственный способ, который я нашел полезным, описан здесь .Короче говоря, вам нужно добавить расширение браузера на лету, которое выполняет аутентификацию.Это намного проще, чем может показаться.

Вот как это работает для Chrome (в моем случае):

1. Создание zip-файла proxy.zip содержащий два файла:

background.js

var config = {
    mode: "fixed_servers",
    rules: {
      singleProxy: {
        scheme: "http",
        host: "YOU_PROXY_ADDRESS",
        port: parseInt(YOUR_PROXY_PORT)
      },
      bypassList: ["foobar.com"]
    }
  };

chrome.proxy.settings.set({value: config, scope: "regular"}, function() {});

function callbackFn(details) {
    return {
        authCredentials: {
            username: "YOUR_PROXY_USERNAME",
            password: "YOUR_PROXY_PASSWORD"
        }
    };
}

chrome.webRequest.onAuthRequired.addListener(
        callbackFn,
        {urls: ["<all_urls>"]},
        ['blocking']
);

Не забудьте заменить YOUR_PROXY _ * на ваши настройки.

manifest.json

{
    "version": "1.0.0",
    "manifest_version": 2,
    "name": "Chrome Proxy",
    "permissions": [
        "proxy",
        "tabs",
        "unlimitedStorage",
        "storage",
        "<all_urls>",
        "webRequest",
        "webRequestBlocking"
    ],
    "background": {
        "scripts": ["background.js"]
    },
    "minimum_chrome_version":"22.0.0"
}

Добавить созданный proxy.zip как расширение

from selenium import webdriver
from selenium.webdriver.chrome.options import Options

chrome_options = Options()
chrome_options.add_extension("proxy.zip")

driver = webdriver.Chrome(executable_path='chromedriver.exe', chrome_options=chrome_options)
driver.get("http://google.com")
driver.close()

Вот и все.Для меня это сработало как шарм.Если вам нужно динамически создать proxy.zip или вам нужен пример PHP, перейдите к оригинальному сообщению

Answer 2

После того, как вас вдохновили юнит-тесты в селеновом github repo .Это сработало для меня:

from selenium import webdriver

PROXY_HOST = "IP_address"
PROXY_PORT = "your_proxy_port"
USERNAME = "your_user_name" 
PASSWORD = "YOUR_PASSWORD"

profile = webdriver.FirefoxProfile()
profile.set_preference("network.proxy.type", 1)
profile.set_preference("network.proxy.http", PROXY_HOST)
profile.set_preference("network.proxy.http_port", PROXY_PORT)
profile.set_preference("network.proxy.socks_username", USERNAME)
profile.set_preference("network.proxy.socks_password", PASSWORD)

profile.update_preferences()

# executable_path  = define the path if u don't already have in the PATH system variable. 
browser = webdriver.Firefox(firefox_profile=profile)
browser.get('http://website.com')
browser.maximize_window()

Answer 3

Вы пробовали PROXY_HOST = "http://username:password@proxy.host.com"?

Также

Начиная с Selenium 2.0 beta 1, есть встроенная поддержка обработка всплывающих диалоговых окон.