Python скачать файл в форме с: urllib2 ClientForm - PullRequest
Новая
       32

Python скачать файл в форме с: urllib2 ClientForm

3 голосов
/ 12 января 2012

Я схожу с ума, пытаясь скачать CSV-файлы со следующего URL:

На веб-сайте есть 4 формы, и мне удалось установить дату в правильной форме, затем я отправляю эту форму и получаю ответ http с правильным html. Но я хочу на самом деле скачать CSV, а не HTML-ответ. Я думал, что мне нужно будет отправить 2 формы, сначала дату, и после выбора csv, но в 1-м ответе я не получаю никакой формы для диалога.

вот мой код: 

#!/usr/bin/env python
import csv
from urllib2 import urlopen
from ClientForm import ParseResponse
import urllib2

proxy = urllib2.ProxyHandler({'http': '172.26.10.100:8080'})
# proxy = urllib2.ProxyHandler({})
opener = urllib2.build_opener(proxy)
urllib2.install_opener(opener)

headers = {
    'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:2.0.1) Gecko/2010010' \
    '1 Firefox/4.0.1',
    'Accept':'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
    'Accept-Language':'en-us,en;q=0.5',
    'Accept-Charset':'ISO-8859-1,utf-8;q=0.7,*;q=0.7'}

# set the request
url = "http://www.opcom.ro/rapoarte/raportPIPsiVolumTranzactionat.php?lang=en"
request = urllib2.Request(url, None, headers)

try:
    response = urllib2.urlopen(request)

except urllib2.HTTPError, response:
    pass

print response.geturl()
print response.info() # headers
# print response.read() # body

# get forms from response
forms = ParseResponse(response, backwards_compat=False)
response.close()

# print "###FORMS: " ,len(forms)    
# for i in range(len(forms)):
    # print "@@@@@"
    # print forms[i]

form1 = forms[1]

#  setting a specific date in the form
form1.set_value("7", kind="text", nr=0)
form1.set_value("10", kind="text", nr=2)
form1.set_value("2011", kind="text", nr=4)
print form1

# # # SEND THE FORM
request2 = forms[1].click()  # urllib2.Request object      BIEN

try:
    response2 = urllib2.urlopen(request2)

except urllib2.HTTPError, response2:
    pass

print response2.geturl()
print response2.info() # headers
# print response2.read() # body
with open('salida.txt', 'w') as f:
    f.write(response2.read())

forms2 = ParseResponse(response2, backwards_compat=False)
response2.close()

print "###FORMS 2: " ,len(forms2)

Обратите внимание, что первая форма (средство выбора даты) - это формы [1] в массиве форм. И формы [2] это поле выбора для файла CSV или XML. Код для выбора CSV: 

# form2 = forms2[2]


# # Select CSV file in selection control
# form2.find_control("menu_sari").items[1].selected = True  # check

Но я прокомментировал это, так как после ответа я не получаю эту форму.

Любая помощь / обратная связь приветствуется.

1 Ответ

0 голосов
/ 12 января 2012

При просмотре исходного кода вы можете видеть, что при заполнении формы вызывается скрипт php для создания файла csv, а в результате появляется диалоговое окно для сохранения файла.

Например, когда он включен:

http://www.opcom.ro/rapoarte/raportPIPsiVolumTranzactionat.php?lang=en

Если вы заполняете формы, выбирая 13/1/2012 и CSV, следующий URL называется:

http://www.opcom.ro/rapoarte/export_csv_raportPIPsiVolumTranzactionat.php?zi=13&luna=1&an=2012&limba=ro

У меня работает следующее: 

>>> import urllib2
>>> url = "http://www.opcom.ro/rapoarte/export_csv_raportPIPsiVolumTranzactionat.php?zi=13&luna=1&an=2012&limba=ro"
>>> request = urllib2.Request(url)
>>> response = urllib2.urlopen(request)
>>> print response.read()
"PIP si volum tranzactionat pentru ziua de livrare: 13/1/2012"

"","Pret mediu [lei/MWh]","Volum [MWh]"
"ROPEX_DAM_Base (1-24)","185.23","31226.488"
"ROPEX_DAM_Peak (7-22)","239.68","22773.036"
"ROPEX_DAM_Off_Peak (1-6) & (23-24)","76.32","8453.452"

"Interval","Pret de Inchidere a Pietei [lei/MWh]","Volum Tranzactionat [MWh]"
"1","29.99","876.148"
"2","70.00","1057.729"
"3","50.00","1058.868"
"4","50.00","1044.700"
"5","50.00","1061.574"
"6","61.71","1015.513"
"7","86.08","1070.586"
"8","181.00","1187.392"
"9","222.00","1434.829"
"10","230.00","1515.633"
"11","262.60","1539.495"
"12","226.00","1538.931"
"13","225.00","1559.273"
"14","271.00","1515.113"
"15","266.42","1513.220"
"16","250.00","1534.506"
"17","263.02","1481.099"
"18","298.00","1351.114"
"19","283.42","1336.266"
"20","280.00","1398.646"
"21","271.00","1450.183"
"22","219.34","1346.750"
"23","170.00","1219.772"
"24","128.88","1119.148"

>>>

Посмотрите, поможет ли это.Если вы обнаружите, что формы не работают, вы всегда можете создать URL, следуя их шаблону.

...