как определить, какие заголовки необходимы при отправке формы

Question

Я пишу скрипт на Python для сбора большого количества данных, к сожалению, это включает в себя отправку нескольких веб-форм для получения информации, которая меня интересует. Поскольку это нужно повторять несколько тысяч раз, имеет смысл автоматизировать это.

Я никогда не имел дело с аспектом форм такого рода вещей, поэтому у меня есть несколько вопросов. Вот фрагмент кода, который я использую:

url = 'http://example.com/result.do'
values = {'id' : 'value', 'id' : 'value', 'submit' : 'Submit'}
data = urllib.urlencode(values)
req = urllib2.Request(url, data)
response = urllib2.urlopen(req)
the_page = response.read()

Мои вопросы: Нужно ли передавать все поля формы, даже если я их не выбираю?

Нужно ли мне передавать заголовки HTTP с этим, если так, может кто-то связать меня с хорошим объяснением этого?

Я что-то упустил?

Answer 1

Я бы рекомендовал взглянуть на модуль Mechanize. Это позволяет вам выбирать форму, заполнять поля, выбирать параметры и нажимать кнопки. Он автоматически генерирует данные формы, которые форма отправила бы в обычном браузере.

Вот хороший маленький учебник / пример: http://stockrt.github.com/p/emulating-a-browser-in-python-with-mechanize/