Механизм Python SelectControl пуст, когда он должен иметь значения - PullRequest
Новая
       20

Механизм Python SelectControl пуст, когда он должен иметь значения

0 голосов
/ 22 марта 2011

Я пытаюсь автоматизировать загрузку некоторых данных из веб-формы.Я использую модуль Python mechanize.

URL-адрес здесь: http://www.hiv.lanl.gov/components/sequence/HIV/search/search.html Мне нужно заполнить длину последовательности, подтип и геномную область.У меня есть последовательность-длина и регион-геном, но у меня проблемы с выбором подтипа.Когда я загружаю форму, получаю пустой SelectControl, и механизация не позволяет мне ничего выбирать.

Этот код должен загрузить сайт: 

import mechanize
import cookielib

# Browser
br = mechanize.Browser()

# Cookie Jar
cj = cookielib.LWPCookieJar()
br.set_cookiejar(cj)

# Browser options
br.set_handle_equiv(True)
br.set_handle_gzip(True)
br.set_handle_redirect(True)
br.set_handle_referer(True)
br.set_handle_robots(False)

# Follows refresh 0 but not hangs on refresh > 0
br.set_handle_refresh(mechanize._http.HTTPRefreshProcessor(), max_time=1)

br.addheaders = [('User-agent', 'Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.9.0.1) Gecko/2008071615 Fedora/3.0.1-1.fc9 Firefox/3.0.1')]

br.open('http://www.hiv.lanl.gov/content/sequence/HIV/mainpage.html')
br.follow_link(text = 'Search Interface')

br.select_form(nr = 1)

Любая помощь будет принята с благодарностью.

-Will

РЕДАКТИРОВАТЬ: я пытался использовать BeautifulSoup для повторного анализа HTML (согласно этому SO вопрос ), но не повезло там.

Новое редактирование: Ниже приведена выдержка из формы mechanize. 

<search POST http://www.hiv.lanl.gov/components/sequence/HIV/search/search.comp multipart/form-data
  <TextControl(value SequenceAccessions SA_GenBankAccession 1=)>
  <SelectControl(master=[Any, *HIV-1, HIV-2, SIV, SHIV, syntheticwholeDNA, NULL])>
  <TextControl(value SEQ_SAMple SSAM_common_name 1=)>
  <SelectControl(slave=[])>
  <TextControl(value SequenceEntry SE_sequenceLength 4=)>
  <CheckboxControl(sample_year_exact=[*1])>
  <TextControl(value SEQ_SAMple SSAM_Sample_year 11=)>
  <TextControl(value SEQ_SAMple SSAM_Sample_country 1=)>
  <CheckboxControl(recombinants=[Recombinants])>

По некоторым причинам элемент управления slave не заполнен возможными вариантами выбора.

1 Ответ

1 голос
/ 22 марта 2011

Проблема в том, что опции Подтип <select> заполняются Javascript, который не выполняет механизация.Код Javascript запускается при загрузке страницы, заполняя параметры ведомого устройства списком ВИЧ-1: 

addLoadEvent(fillList(document.forms['search'].slave, lists['HIV-1']));

Однако отображение Virus -> Subtype сохраняется в в этом файле Javascript search.js .Возможно, вам понадобится сохранить это отображение в вашем скрипте Python и вручную установить значение ведомой формы.

...