Проблемы с передачей куки в запрос GET (после POST) - PullRequest
Новая
       28

Проблемы с передачей куки в запрос GET (после POST)

4 голосов
/ 26 октября 2011

Я застрял в этом вопросе уже несколько дней, мои глаза начинают болеть от времени, потраченного на попытки разных комбинаций, но безуспешно.Дело в том, что я делаю приложение, которое должно получать данные из Интернета, анализировать их и затем показывать их пользователю.Я попробовал несколько способов сделать это, и использование JSOUP было очень полезно, особенно при разборе и получении данных из результатов.

Однако есть одна проблема, которую я не могу решить.Я пытался с обычным HTTPClient, и с JSOUP, но я не могу успешно получить нужные мне данные.Вот мой код (версия JSOUP): 

public void bht_ht(Context c, int pozivni, int broj) throws IOException {
    //this is the first connection, to get the cookies (I have tried the version without this method separate, but it's the same
    Connection.Response resCookie = Jsoup.connect("http://www.bhtelecom.ba/imenik_telefon.html")
            .method(Method.GET)
            .execute();
    String sessionId = resCookie.cookie("PHPSESSID");
    String fetypo = resCookie.cookie("fe_typo_user");
    //these two above are the cookies

    //the POST request, with the data asked
    Connection.Response res = Jsoup.connect("http://www.bhtelecom.ba/imenik_telefon.html?a=search")
              .data("di", some_data)
              .data("br", some_data)
              .data("btnSearch","Tra%C5%BEi")
              .cookie("PHPSESSID", sessionId)
              .cookie("fe_typo_user", fetypo)
              .method(Method.POST)
              .execute();

    Document dok = res.parse();

            //So, here is the GET request for the site which contains the results, and this site is redirected to with HTTP 302 response after the POSt result
    Document doc = Jsoup.connect("http://www.bhtelecom.ba/index.php?id=3226&")
            .cookie("PHPSESSID", sessionId)
            .cookie("fe_typo_user", fetypo)
            .referrer("http://www.bhtelecom.ba/imenik_telefon.html")
           .get();

    Document doc = res2.parse();

    Element elemenat = doc.select("div.boxtexter").get(0);

   String ime = elemenat.text();

}

Итак, конечным результатом будет строка, которая содержит возвращенные данные.Но, что бы я ни пытался, я получаю «пустую» страницу и ее анализируемый текст, и я смоделировал все, что запрашивает браузер.

Вот необработанные заголовки POST и GET, захваченные браузером :(post) 

> POST /imenik_telefon.html?a=search HTTP/1.1 Host: www.bhtelecom.ba
> Content-Length: 56 Cache-Control: max-age=0 Origin:
> http://www.bhtelecom.ba User-Agent: Mozilla/5.0 (Windows NT 6.1;
> WOW64) AppleWebKit/535.1 (KHTML, like Gecko) Chrome/14.0.835.202
> Safari/535.1 Content-Type: application/x-www-form-urlencoded Accept:
> text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8
> Referer: http://www.bhtelecom.ba/index.php?id=3226& Accept-Encoding:
> gzip,deflate,sdch Accept-Language: en-US,en;q=0.8 Accept-Charset:
> ISO-8859-1,utf-8;q=0.7,*;q=0.3 Cookie:
> PHPSESSID=opavncj3317uidbt93t9bie980;
> fe_typo_user=332a76d0b1d4944bdbbcd28d63d62d75;
> __utma=206281024.1997742542.1319583563.1319583563.1319588786.2; __utmb=206281024.1.10.1319588786; __utmc=206281024; __utmz=206281024.1319583563.1.1.utmcsr=(direct)|utmccn=(direct)|utmcmd=(none)
> 
> di=033&br=123456&_uqid=&_cdt=&_hsh=&btnSearch=Tra%C5%BEi

(get) 

> GET /index.php?id=3226& HTTP/1.1 Host: www.bhtelecom.ba Cache-Control:
> max-age=0 User-Agent: Mozilla/5.0 (Windows NT 6.1; WOW64)
> AppleWebKit/535.1 (KHTML, like Gecko) Chrome/14.0.835.202 Safari/535.1
> Accept:
> text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8
> Referer: http://www.bhtelecom.ba/index.php?id=3226& Accept-Encoding:
> gzip,deflate,sdch Accept-Language: en-US,en;q=0.8 Accept-Charset:
> ISO-8859-1,utf-8;q=0.7,*;q=0.3 Cookie:
> PHPSESSID=opavncj3317uidbt93t9bie980;
> __utma=206281024.1997742542.1319583563.1319583563.1319588786.2; __utmb=206281024.1.10.1319588786; __utmc=206281024; __utmz=206281024.1319583563.1.1.utmcsr=(direct)|utmccn=(direct)|utmcmd=(none); fe_typo_user=07745dd2a36a23c64c2297026061a2c2

В этом GET (его ответ) находятся данные, которые мне нужны, но с любой комбинацией параметров, файлов cookie или всего остальногоЯ пытался, я не мог заставить его «думать», что я сделал POST и теперь хочу эти данные.

Вот версия моего кода без анализатора JSOUP, но я не могу заставить его работатьлибо, хотя, когда я проверяю эти куки, они в порядке, то же самое для POST и GET, но безуспешно. 

DefaultHttpClient client = new DefaultHttpClient();


                 String postURL = "http://www.bhtelecom.ba/imenik_telefon.html?a=search";
                 HttpPost post = new HttpPost(postURL);
                 post.getParams().setParameter(CoreProtocolPNames.USE_EXPECT_CONTINUE, Boolean.FALSE);


                 List<NameValuePair> params = new ArrayList<NameValuePair>();
                 params.add(new BasicNameValuePair("di", "035"));
                 params.add(new BasicNameValuePair("br", "819443"));
                 params.add(new BasicNameValuePair("btnSearch","Tra%C5%BEi"));
                 UrlEncodedFormEntity ent = new UrlEncodedFormEntity(params,HTTP.UTF_8);
                 post.setEntity(ent);
                 HttpResponse responsePOST = client.execute(post);



                 HttpEntity resEntity = responsePOST.getEntity();  

                 if (resEntity != null) {    
                    //todo
                     }
                 //checking for cookies, they are OK
                 List<Cookie> cookies = client.getCookieStore().getCookies();
                 if (cookies.isEmpty()) {
                      Log.d(TAG, "no cookies");
                 } else {
                     for (int i = 0; i < cookies.size(); i++) {
                          Log.d(TAG, "cookies: " + cookies.get(i).toString());
                     }
                 }
                 resEntity.consumeContent();

                 HttpGet get = new HttpGet("http://www.bhtelecom.ba/index.php?id=3226&");
                 get.getParams().setParameter(CoreProtocolPNames.USE_EXPECT_CONTINUE, Boolean.FALSE);



                 HttpResponse responseGET = client.execute(get);
                 HttpEntity entityGET = responseGET.getEntity();
                 List<Cookie> cookiesGet = client.getCookieStore().getCookies();
                 if (cookies.isEmpty()) {
                      Log.d(TAG, "no cookies");
                 } else {
                     for (int i = 0; i < cookiesGet.size(); i++) {
                          Log.d(TAG, "cookies GET: " + cookiesGet.get(i).toString());
                     }
                 }

                 //a method to check the data, I pass the InputStream to it, and do the operations, I've tried "manually", and passing the InputStream to JSOUP, but without success in either case.
                 samplemethod(entityGET.getContent());
                 client.getConnectionManager().shutdown();
             } catch (Exception e) {
                 e.printStackTrace();
             }

Итак, если кто-то может найти ошибку в моей настройке или найти мне способчтобы сделать эти два запроса и затем получить данные, HTTP Entity, которые я мог бы затем использовать в качестве входных данных (InputStream) для прекрасного анализатора JSOUP, это было бы удивительно.Или, может быть, я получил всю эту информацию о том, что нужно странице, и мне нужно делать запросы с разными параметрами, я был бы признателен за это.Я использовал Wireshark и Charles Debugging Proxy, чтобы получить представление о том, что нужно создать (попробовал оба, чтобы дважды проверить), и нашел только тот идентификатор сессии, fe_typo_user и некоторые другие параметры, используемые для отслеживания времени на сайте и т. Д., И я попыталсяпередавая их тоже, "_ utma" " _utmb" ... и т. д.

У меня есть несколько других методов, использующих "более простые", только методы POST с данными в ответе, иЯ успешно получил это, но эта специфическая проблема с этим сайтом сводит меня с ума.Заранее спасибо за помощь.

1 Ответ

5 голосов
/ 27 октября 2011

После многих, многих часов попыток и отслеживания входящих / исходящих пакетов мне наконец удалось найти решение.

Все было с «ошибкой» или поведением HTTPClient.Если вы добавляете параметр к сообщению, а параметр имеет значение emty, имеет значение "", он не отправляется с запросом.Я этого не знал и думал, что эти параметры, поскольку они пусты, ничего не изменят, и, работая с JSOUP, я не передавал их запросам.

Итак, 

params.add(new BasicNameValuePair("_uqid", ""));
params.add(new BasicNameValuePair("_cdt", ""));
params.add(new BasicNameValuePair("_hsh", ""));

были интересными местами.

Другое дело, так как на этой странице есть 302 ответа, а JSOUP имеет значение followRedirects, установленное по умолчанию в "true", мне пришлось сделать это false также потому, чтоМетод POST, и «запрос на выполнение» должен быть GET, но JSOUP предполагает, что он все еще POST и все портит.

Вот и все, надеюсь, кто-то найдет это полезным:)

...