Как получить html перенаправленную веб-страницу программно?

Question

Я сделал этот код для входа, поиска и отображения веб-страницы:

  // login info array
        string postData = "user_name=tler";
        postData += "&user_password=lodvader";
        byte[] data = Encoding.ASCII.GetBytes(postData);

        // web request
        WebRequest req = WebRequest.Create("http://www.lol.com/login.php");
        req.Method = "POST";
        req.ContentType = "application/x-www-form-urlencoded";
        req.ContentLength = data.Length;

        // stream response to string
        Stream newStream = req.GetRequestStream();
        newStream.Write(data, 0, data.Length);
        newStream.Close();
        StreamReader reader = new StreamReader(req.GetResponse().GetResponseStream(), Encoding.GetEncoding("iso-8859-1"));

        string responseString = reader.ReadToEnd();

        // retrieve text within title
        Regex rx = new Regex(@"(?<=<title>).+?(?=</title>)");

        var variable = rx.Matches(responseString);

        // output
        Console.WriteLine(variable[0]);

        Console.ReadLine();

Но следующая страница после входа в систему представляет собой html-перенаправление, например:

<meta http-equiv="refresh" content="3; URL="bb.php">

Как перейти по этой ссылке и получить следующую страницу?

Answer 1

Я нашел время, чтобы закончить это, вот ответ (я старался быть максимально ясным):

        // Cookie for our session
        var cookieContainer = new CookieContainer();

        // Encode post variables
        ASCIIEncoding encoding=new ASCIIEncoding();
        byte[] loginDataBytes = encoding.GetBytes("user_name=belaz&user_password=123");

        // Prepare our login HttpWebRequest
        HttpWebRequest request = (HttpWebRequest)WebRequest.Create("http://blabla.fr/verify.php");
        request.Method = "POST";
        request.ContentType = "application/x-www-form-urlencoded";
        request.CookieContainer = cookieContainer;
        request.ContentLength = loginDataBytes.Length;

        // Write encoded post variable to the stream
        Stream newStream = request.GetRequestStream();
        newStream.Write(loginDataBytes, 0, loginDataBytes.Length);
        newStream.Close();

        // Retrieve HttpWebResponse
        HttpWebResponse response = (HttpWebResponse)request.GetResponse();

        // Link the response cookie to the domain
        cookieContainer.Add(new Uri("http://blabla.fr/"),response.Cookies);

        // Prepare our navigate HttpWebRequest, and set his cookie.
        HttpWebRequest requestProfile = (HttpWebRequest)WebRequest.Create("http://blabla.fr/bb.php");
        requestProfile.CookieContainer = cookieContainer;

        // Retrieve HttpWebResponse
        HttpWebResponse responseProfile = (HttpWebResponse)requestProfile.GetResponse();

        // Retrieve stream response and read it to end
        Stream st = responseProfile.GetResponseStream();
        StreamReader sr = new StreamReader(st);
        string buffer = sr.ReadToEnd();

Answer 2

Просто отправьте новый веб-запрос в файл bb.php. Убедитесь, что вы используете тот же CookieContainer, так как я предполагаю, что login.php использует сеансы на основе файлов cookie, чтобы запомнить вас. Проверьте свойство HttpWebRequest.CookieContainer . Для этого вам необходимо преобразовать свой WebRequest в HttpWebRequest.

Добавлено: (Не удалось написать пример кода в комментарии.)

Я просто пишу код без проверки сейчас ...

var cookies = new CookieContainer(); 

var firstReq = (HttpWebRequest)WebRequest.Create(".../login.php");
firstReq.CookieContainer = cookies;

var secondReq = (HttpWebRequest)WebRequest.Create(".../bb.php");
secondReq.CookieContainer = cookies

Answer 3

Вы не можете сделать это простым способом, так как метатег читается клиентом и выполняется.

В этом случае, когда вы используете HttpWebRequest, запрос не заботится о функциях, которые может иметь текст.

Так что вам нужно сделать еще один запрос к странице в атрибуте URL (bb.php).

-

Если бы сервер сделал перенаправление, у вас не было бы проблемы.

Answer 4

Существует свойство HttpWebRequest, которое называется AllowAutoRedirects . Установите это в true. Также есть свойство с именем MaximumAutomaticRedirections . Установите для него какое-либо допустимое значение, чтобы убедиться, что все они соблюдаются.