Использование HTTP прокси с использованием Socket - PullRequest
Новая
       15

Использование HTTP прокси с использованием Socket

0 голосов
/ 30 июля 2011

Мне необходимо загрузить веб-контент, включая полные заголовки, такие как 

HTTP/1.1 200 OK
Cache-Control: private, max-age=0
Content-Type: text/html; charset=utf-8
Expires: Sat, 30 Jul 2011 06:19:13 GMT
P3P: CP="NON UNI COM NAV STA LOC CURa DEVa PSAa PSDa OUR IND"
Date: Sat, 30 Jul 2011 06:20:13 GMT
Transfer-Encoding:  chunked
Connection: keep-alive
Connection: Transfer-Encoding
Set-Cookie: _SS=SID=0B3A2FD5AA7943BC92252BB73BD7C9CA; domain=.bing.com; path=/
Set-Cookie: MUID=CE6F495249204D82A8F620B7317FC59E; expires=Mon, 29-Jul-2013 06:20:13 GMT; domain=.bing.com; path=/
Set-Cookie: OrigMUID=CE6F495249204D82A8F620B7317FC59E%2c95e9e1eafdef40d6a24497335843fac6; expires=Mon, 29-Jul-2013 06:20:13 GMT; domain=.bing.com; path=/
Set-Cookie: OVR=flt=0&flt2=0&flt3=0&flt4=0&flt5=0&flt6=0&flt7=0&flt8=0&flt9=0&flt10=0&flt11=0&ramp1=snrport4-release&release=or3&preallocation=0&R=1; domain=.bing.com; path=/
Set-Cookie: SRCHD=D=1881020&MS=1881020&AF=QBLH; expires=Mon, 29-Jul-2013 06:20:13 GMT; domain=.bing.com; path=/
Set-Cookie: SRCHUID=V=2&GUID=A2EAC1B8990D46619C897016C94B5C4B; expires=Mon, 29-Jul-2013 06:20:13 GMT; path=/
Set-Cookie: SRCHUSR=AUTOREDIR=0&GEOVAR=&DOB=20110730; expires=Mon, 29-Jul-2013 06:20:13 GMT; domain=.bing.com; path=/

000037E4
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd"><html lang="en" xml:lang="en" xmlns="http://www.w3.org/1999/xhtml" xmlns:Web="http://schemas.live.com/Web/"><head><meta content="text/html; charset=utf-8" http-equiv="content-type" /><script type="text/javascript">//<![CDATA[

Поскольку контент с полными заголовками недоступен в WebClient, HttpWebRequest я использую Socket для того же, вот код. 

using (Socket socket = new Socket(AddressFamily.InterNetwork, SocketType.Stream, ProtocolType.IP))
{
    IPHostEntry entry = Dns.GetHostEntry(fullUrlAddress);
    socket.ReceiveTimeout = 3000;
    socket.Connect(entry.AddressList[0], 80);

    string request = string.Empty;
    string build_request = string.Empty;
    if (cookieJar.Count != 0)
    {
        request = "GET {0} HTTP/1.1\r\nHost: {1}\r\nUser-Agent: Mozilla/5.0 (Windows NT 5.1; rv:5.0) Gecko/20100101 Firefox/5.0\r\nAccept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8\r\nAccept-Language: en-us,en;q=0.5\r\nAccept-Charset: ISO-8859-1,utf-8;q=0.7,*;q=0.7\r\nConnection: keep-alive\r\nReferer: {0}\r\nCookie: {2}\r\n\r\n";
        build_request = string.Format(request, requestedUri.AbsoluteUri, requestedUri.Host, GetCookies(requestedUri));
    }
    else
    {
        request = "GET {0} HTTP/1.1\r\nHost: {1}\r\nUser-Agent: Mozilla/5.0 (Windows NT 5.1; rv:5.0) Gecko/20100101 Firefox/5.0\r\nAccept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8\r\nAccept-Language: en-us,en;q=0.5\r\nAccept-Charset: ISO-8859-1,utf-8;q=0.7,*;q=0.7\r\nConnection: keep-alive\r\nReferer: {0}\r\nCookie: {2}\r\n\r\n";
        build_request = string.Format(request, requestedUri.AbsoluteUri, requestedUri.Host, "PREF=ID=19495678a6a3dd6e:U=c5ce8e4e3f61da69:FF=0:TM=1311310634:LM=1311310636:S=gbV7hD2dPfycsf8Q; NID=49=dN3QceFFBFxwsCXM43HCRJF_oxoBpUHuUWt2tpoofEDFcRhj7TWWV4EFQNuVYP1GhyBAsQr3oOeohsJp31x8kb_iXiGcQFh1a3IFsPTNKjzJv_NgSK8ssG956PJO7jH-");
    }

    byte[] data = Encoding.UTF8.GetBytes(build_request);
    socket.Send(data, data.Length, 0);

    int bytes = 0;
    byte[] bytesReceived = new byte[10240];
    string currentBatch = string.Empty;

    try
    {
        do
        {
            bytes = socket.Receive(bytesReceived);
            currentBatch = Encoding.ASCII.GetString(bytesReceived, 0, bytes);
            responseString.Append(currentBatch);
        }
        while (bytes > 0);
    }
    catch (Exception)
    {
    }

    socket.Close();
}

Он работает отлично, но я не знаю, как подключиться через HTTP-прокси, в отличие от WebClient, сокет не может установить прокси-сервер с именем пользователя и паролем.

Мой вопрос прост: Как подключиться с помощью HTTP-прокси с учетными данными в сокете?

Пожалуйста, отвечайте только в том случае, если у вас есть решение, если вы рекомендуете веб-клиента или не отвечаете, у меня есть веская причина использовать сокеты, предложения длябиблиотеки с открытым исходным кодом, ссылки, учебные пособия.

Ответы [ 2 ]

2 голосов
/ 30 июля 2011

Имя пользователя и пароль для прокси отправляются через заголовок HTTP. Используйте поле Proxy-Authorization в заголовке вашего запроса: 

Proxy-Authorization: Basic <BASE64("USER:PASS")>

Если на какой-либо из ваших запросов получен ответ «Требуется 407 проверка подлинности прокси-сервера», вы можете прочитать поле заголовка ответа Proxy-Authenticate, в котором будет указано, какой режим проверки подлинности следует использовать при авторизации. Выше это Basic (самый распространенный), но есть и другие, такие как Digest и NTLM. Вы можете прочитать о двух других здесь

1 голос
/ 30 июля 2011

В вашем примере показаны заголовки ответа HTTP, а не заголовки запроса HTTP. Какие заголовки HTTP-запроса вам нужны для отправки, которые вы не можете?

Выполнение этого непосредственно в сокете будет очень и очень трудным, если вы не сделаете несколько упрощающих предположений (например, сервер никогда не будет использовать фрагментарное кодирование или сжатие и т. Д.). Например, ваш текущий код не будет работать, если сервер использует keep-alive соединения. Вам было бы намного лучше использовать HTTPWebRequest и Reflection для настройки любых внутренних членов, которые вам нужны.

Другой альтернативой может быть включение FiddlerCore в ваше приложение (www.fiddler2.com/core). FiddlerCore включает в себя полный стек HTTP, включая поддержку прокси, сжатие, кодирование по частям и т. Д.

...