подключение к веб-сайту с использованием прокси и urllib? - PullRequest
0 голосов
/ 12 августа 2011

Если прокси-сервер 200.217.241.76, а порт 80, как я могу подключиться к google.com и прочитать html-код с помощью этого прокси?

Моя проблема заключается в том, чтобы установить соединение, я знаю, как читать HTML-файл, когда я его получаю, Я хочу автоматизировать сценарий, который продолжает читать различные HTML-файлы и сохранять данные.

что у меня сейчас:

import urllib
html = urllib.openurl("http://google.com").read()
# do stuff with html

пример был бы великолепен!

1 Ответ

0 голосов
/ 12 августа 2011

urllib учитывает системные настройки прокси:

Функция urlopen () прозрачно работает с прокси, которые не требуют аутентификации.В среде Unix или Windows задайте для переменных среды http_proxy или ftp_proxy URL-адрес, который идентифицирует прокси-сервер, перед запуском интерпретатора Python.Например («%» - это командная строка):

> % http_proxy="http://www.someproxy.com:3128" 
> % export http_proxy 
> % python ...

введите описание ссылки здесь

...