Как узнать, передаются ли мои пользовательские HTTP-заголовки? - PullRequest
Новая
       9

Как узнать, передаются ли мои пользовательские HTTP-заголовки?

0 голосов
/ 31 января 2019

Итак, я уже некоторое время пытаюсь передать пользовательский HTTP-заголовок.

Я создаю скрипт (Python) для открытия URL с пользовательскими заголовками, такими как 

    {'Referer': 'https://google.com', 'X-Forwarded-For': '47.29.76.109', 

'User-Agent': 'Mozilla/5.0 (Linux; Android 7.1.1; CPH1723 Build/N6F26Q; 

wv) AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0 Chrome/67.0.3396.87 

Mobile Safari/537.36', 'existing_proxy_port_to_use': '8090'}

Я использовал BrowserMob-Proxy для этого, но я не вижу эффекта, когда пытаюсь проверить поле Сеть в Inspect of Google Chrome.

CODE: 

def automation():
    headers = pd.read_excel('Database/header.xlsx')
    for i in range(0,headers.shape[0]):
        dict = {}
        header = headers.loc[i]
        dict['Referer'] = header['Referrer']
        dict[header['Option']] = header['IP']
        dict['User-Agent'] = header['USERAGENT']
        dict['existing_proxy_port_to_use'] = "8090"
        print(dict)

        URL = 'xyz'
        data = pd.read_csv('Database/data.csv')
        server = Server(path="./browsermob-proxy/bin/browsermob-proxy", options=dict)
        server.start()
        proxy = server.create_proxy()
        chrome_options = webdriver.ChromeOptions()
        chrome_options.add_argument("--proxy-server={0}".format(proxy.proxy)) #Configure chrome options
        driver = webdriver.Chrome(chrome_options=chrome_options,executable_path='/home/.../chromedriver')
        proxy.new_har("google")
        for j in range(0,data.shape[0]):
            datum = data.loc[j]
            print(datum)
            driver.get(URL)
        driver.quit()
        server.stop()   
    return None    

automation()

Я читаю этиПараметры из заголовочного файла и использование Selenium для заполнения формы Google.

Итак, пожалуйста, помогите мне узнать, как правильно передать заголовки и как они работают.

1 Ответ

0 голосов
/ 01 февраля 2019

Я решил проблему передачи заголовка, удалив Browsermob-proxy и вместо этого использовал seleniumwire и использовал его driver._client.set_header_overrides(headers=dict_headers) для переопределения заголовков HTTP по умолчанию. 

def automation():

    headers = pd.read_excel('Database/header.xlsx')
    data = pd.read_csv('Database/data.csv')

    for i in range(0,headers.shape[0]):
        dict_headers = {}
        header = headers.loc[i]
        dict_headers['Referer'] = header['Referrer']
        dict_headers[header['Option']] = header['IP']
        dict_headers['User-Agent'] = header['USERAGENT']

        URL = 'xyz'

        user_agent = "user-agent="+header['USERAGENT']
        chrome_options = webdriver.ChromeOptions()
        chrome_options.add_argument(user_agent) 
        driver = webdriver.Chrome(
                chrome_options=chrome_options,
                executable_path='/home/.../chromedriver')

        driver._client.set_header_overrides(headers=dict_headers)
        datum = data.loc[i]
        driver.get(URL)
        driver.quit()
    return None    
automation()
...