Я пытаюсь войти в систему с selenium.webdrivers и использовать файлы cookie этого сеанса с urllib3 или urllib.Я уже использую эти файлы cookie с модулем python / запросы, но проблема в том, что я не могу получить источник страницы после полной загрузки.Я не могу использовать driver.get (url), используя селен, так как мне нужно получить большой объем данных из Интернета, и через некоторое время моя система зависает.
В настоящее время я использую сеансовые куки-файлы Селена с модулем python / запросы, но не хочу этого делать. Вместо этого я хочу использовать эти куки-файлы с urllib3 или urllib, чтобы получить полное содержимое веб-страницы.
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
import selenium
import requests
options = webdriver.ChromeOptions()
options.add_argument("user-data-dir=C:\\Users\\randh\\AppData\\Local\\Google\\Chrome\\User Data\\Profile 2") #Path to your chrome profile
driver = webdriver.Chrome(chrome_options=options)
driver.get(url) #can't share the url, let say 'youtube.com'
time.sleep(170) #sleep is for adding credentials
urlr = driver.current_url
session = urlr.split(sep='ses=')[1].split(sep='&')[0] #getting session id here
# here I can use driver.get(url) but, is useless for me... then is use below code
cookies = driver.get_cookies()
s = requests.Session()
for cookie in cookies:
s.cookies.set(cookie['name'], cookie['value'])
page = s.get(url).content
# here's the issue. I'm getting page content immediately, without loading full content of the webpage.
Мне нужно полное содержимое страницы после полной загрузки