Каков наилучший способ замаскировать запрос urllib2 под человеческий запрос (помимо пользовательского агента)?

Question

Какой лучший способ замаскировать программу на Python с помощью urllib2?Я знаю, как настроить user-agent, что является хорошим началом.Но как насчет других элементов, таких как ссылающийся URL?Есть ли способ установить это?Любые другие предложения?

Вот что я использую для добавления агента пользователя:

opener = urllib2.build_opener()
opener.addheaders = [('User-agent','Mozilla/5.0 (X11; Linux x86_64; rv:2.0.1) Gecko/20110506 Firefox/4.0.1')]
f = opener.open("http://www.domain.com")

Answer 1

Есть много особенностей, которые вы не упомянули. Чтобы найти ответы, просто перейдите на www.domain.com в своем любимом браузере (с хорошими инструментами разработки) и проверьте сетевой трафик.

Chrome имеет встроенные инструменты. Firebug для Firefox.

Посмотрите на все отправленные заголовки и выполните репликацию в соответствии с вашими потребностями.

Answer 2

Вы можете указать в реальном браузере такой инструмент, как этот или этот , увидеть точное содержимое всех полей, которые отправляет ваш настоящий браузер, и подражать этому в вашем Python сценарий.