Как использовать библиотеку запросов с Selenium, в Python - PullRequest
Новая
       24

Как использовать библиотеку запросов с Selenium, в Python

0 голосов
/ 30 сентября 2019

Я хотел бы зайти на веб-страницу с помощью Selenium и использовать сеанс, вошедший в систему, для выполнения последующих запросов с использованием библиотеки запросов. Пока мой код выглядит так: 

from selenium import webdriver
import requests

driver = webdriver.Chrome()
driver.get("https://www.linkedin.com/uas/login?")

Как только я попадаю на страницу входа, я просто ввожу свои данные для входа в систему, а после входа в систему я хочу получать информацию с определенных страниц, используя запросы. библиотека вместо. Как я могу заставить это работать?

1 Ответ

1 голос
/ 30 сентября 2019

Ладно, разобрался с этим для любого с этим вызовом. Это просто передача куки из селена в сессию запросов: 

from selenium import webdriver
import requests

driver = webdriver.Chrome()
driver.get("https://www.linkedin.com/uas/login?")

s = requests.Session()
# Set correct user agent
selenium_user_agent = driver.execute_script("return navigator.userAgent;")
s.headers.update({"user-agent": selenium_user_agent})

for cookie in driver.get_cookies():
    s.cookies.set(cookie['name'], cookie['value'], domain=cookie['domain'])

response = s.get("https://linkedin/example_page.com")
...