Я пытаюсь сделать кое-что на веб-сайте https://es.vwr.com/store.Для поиска различных предметов я использую функцию запросов.Как только я его использую, я получаю сокращенную версию полного URL, которая появляется, когда вы выполняете поиск вручную на веб-странице.Затем мне нужно использовать селен, чтобы нажать на несколько выпадающих страниц.Однажды я использую драйвер.Получить метод селена, чтобы открыть веб-страницу, чтобы доступ к раскрывающемуся списку, страница не загружается.Похоже, что этот URL не работает с автоматическим Chrome, с которым работает селен.Я проверил URL в обычном Chrome, и он работает, однако, если я использую режим инкогнито, это не так.Я думаю, что есть необходимость в куки, чтобы страница загружалась правильно, но я не знаю, как заставить ее работать с селеном.
Вот часть моего кода, относящаяся к этому:
import requests
from bs4 import BeautifulSoup
from selenium import webdriver
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.common.by import By
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.support.ui import WebDriverWait
import pandas
import time
#get the search html page for VWR
VWR_data_name={'_dyncharset':'UTF-8', '_dynSessConf':'6639464598744225612', 'keyword':name, 'search.x':'foo',
'%2Fvwr%2Fsearch%2FSearchFormHandler.searchRequest.searchOperator':'and',
'_D%3A%2Fvwr%2Fsearch%2FSearchFormHandler.searchRequest.searchOperator':'+',
'%2Fvwr%2Fsearch%2FSearchFormHandler.keywordSearch.x':'0',
'%2Fvwr%2Fsearch%2FSearchFormHandler.keywordSearch.y':'0',
'_D%3A%2Fvwr%2Fsearch%2FSearchFormHandler.keywordSearch':'+',
'_DARGS':'%2Fstore%2Fcms%2Fes.vwr.com%2Fes_ES%2Fheader_2018101711583143.jsp.searchForm'}
VWR_data_CAS={'_dyncharset':'UTF-8', '_dynSessConf':'6639464598744225612', 'keyword':CAS, 'search.x':'foo',
'%2Fvwr%2Fsearch%2FSearchFormHandler.searchRequest.searchOperator':'and',
'_D%3A%2Fvwr%2Fsearch%2FSearchFormHandler.searchRequest.searchOperator':'+',
'%2Fvwr%2Fsearch%2FSearchFormHandler.keywordSearch.x':'0',
'%2Fvwr%2Fsearch%2FSearchFormHandler.keywordSearch.y':'0',
'_D%3A%2Fvwr%2Fsearch%2FSearchFormHandler.keywordSearch':'+',
'_DARGS':'%2Fstore%2Fcms%2Fes.vwr.com%2Fes_ES%2Fheader_2018101711583143.jsp.searchForm'}
#get the html page from VWR
VWR_url_name=requests.post("https://es.vwr.com/store/search/searchResultList.jsp?", params=VWR_data_name.items())
VWR_url_CAS=requests.post("https://es.vwr.com/store/search/searchResultList.jsp?", params=VWR_data_CAS.items())
print(VWR_url_name.url)
print(VWR_url_name.url)
#printed values for the urls gives https://es.vwr.com/store/search/searchResultList.jsp?_requestid=124654)
#access the webpage
driver=webdriver.Chrome(executable_path=r"C:\webdrivers\chromedriver.exe")
driver.get(VWR_url_name.url)
Заранее спасибо за помощь.