Как получить заголовки от Browsermob-прокси?

Question

Что мне нужно: Файл журнала прокси-сервера сеанса, который включает содержимое / текст трафика / ответов. Что у меня есть: Работает тёмный веб-драйвер и журнал браузера браузера mobproxy (* но без заголовков!).

прокси-сервер browsermob работает на локальном хосте: 8080 / proxy / 8081

ЧастичноКод:

bmp_path = "path-to-browsermob-proxy.bat"
server = Server(path=bmp_path)
server.start()
proxy_server = server.create_proxy()
proxy_server.new_har()
chrome_options = webdriver.ChromeOptions()
chrome_options.add_argument('--proxy-server={}'.format(proxy_server.proxy))
browser = webdriver.Chrome("path-to-chromedriver.exe",chrome_options=chrome_options)
browser.get('www.demowebsite.com')

При печати:

pprint(proxy_server.har)

{"log": {"version": "1.2", "creator": {"name": "BrowserMob Proxy", "version": "2.1.4", "comment": ""}, "pages": [{"id": "Page 0", "launchDateTime": "2019-10-03T15: 17: 20.385 + 03: 00 "," title ":" Page 0 "," pageTimings ": {" comment ":" "}," comment ":" "}]," records ": []," comment ":" "}}

Пока все хорошо, вот эта вещь.

Когда я добавляю любой параметр к new_har вроде:

proxy_server.new_har(options={'captureHeaders': True})

Или:

proxy_server.new_har('test') # for ref param

Всегда получать от сервера ответ 500:

r = requests.put('%s/proxy/%s/har' % (self.host, self.port), payload)

Проблема с доступом / proxy / 8081 / har. Причина: ошибка сервера

{JSONDecodeError} Ожидаемое значение: строка 1, столбец 1 (символ 0)

Похоже, я не могу сделать запрос к прокси-серверу? Спасибо за помощников

Answer 1

Это, вероятно, не будет работать полностью, я сталкиваюсь с тем же типом проблемы. Вот что я сделал:

rput = requests.put('http://localhost:8080/proxy/8082/har',headers={"Content-Type":"application/json"},data={"captureHeaders":True,"captureCookies":True,"captureContent":True})

Похоже, что прокси Browsermob не нравится используемый аргумент params. Вместо этого попробуйте отправить запрос с данными.

Примечание. Я все еще не могу получить все заголовки и файлы cookie, если вы выясните это, я буду признателен, если вы сообщите мне:)