Я пытаюсь выскользнуть из выпадающего меню get CNS со следующей страницы
Просто, чтобы провести вас, я начну с главной ссылки, которая ссылается на все последовательности(ссылка сверху - это URL-адрес последовательности).
Я перехожу по этой ссылке и пытаюсь взять каждый элемент из выпадающего меню, которое приводит вас на другую страницу (это основная проблема, которую я пытаюсь решить).
После того, как вы попадете в раскрывающееся меню на странице, я хочу взять ссылку, которая направляет вас, чтобы получить все настройки ЦНС, и отсканировать информацию, которую предоставляет вам ссылка.Я должен сделать это для 10000 выравниваний.
В настоящее время я борюсь с выпадающим меню, все остальное, что я смогу выяснить.
Я пытался реализовать Selenium и BeautifulSoup какВы можете сказать из кода, который я написал до сих пор.Я открыт для предложений и изменений.
Это python2.7
Спасибо
#importing libraries
import urllib
from bs4 import BeautifulSoup
from selenium import webdriver
from selenium.webdriver.support.ui import Select
#parsing the html
url = ("http://pipeline.lbl.gov/cgi-bin/textBrowser2?act=mvista&run=u233-9GR6Sl35")
html = urllib.urlopen(url).read()
soup = BeautifulSoup(html,'html.parser')
#saving the links to a list so I can access those links and scrape them
sequenceurl=[]
for link in soup.find_all('a', string ="VISTA-Point"):
sequenceurl.append(link.get('href'))
for item in sequenceurl:
print item
print
#open the webpage and go to the web browser
driver = webdriver.Firefox()
driver.get(sequenceurl[0])
driver.maximize_window()
Select(driver.find_element_by_xpath('//*[@id="x-auto-131"]/tbody/tr/td[2]/select')).select_by_index(1).click()
Редактировать: Главная ссылка - это ссылка внутри кода, которая говоритURL =.Вот это опять для справки http://pipeline.lbl.gov/cgi-bin/textBrowser2?act=mvista&run=u233-9GR6Sl35