URLConnection не позволяет мне получить доступ к данным об ошибках Http (404 500 и т. Д.) - PullRequest
Новая
       23

URLConnection не позволяет мне получить доступ к данным об ошибках Http (404 500 и т. Д.)

19 голосов
/ 03 февраля 2012

Я делаю сканер, и мне нужно получать данные из потока независимо от того, 200 это или нет. CURL делает это, как и любой стандартный браузер.

Следующее фактически не получит содержимое запроса, даже если оно есть, возникает исключительная ситуация с кодом ошибки http. Я хочу вывод независимо, есть ли способ? Я предпочитаю использовать эту библиотеку, поскольку она на самом деле создает постоянные соединения, что идеально подходит для типа сканирования, который я выполняю. 

package test;

import java.net.*;
import java.io.*;

public class Test {

    public static void main(String[] args) {

         try {

            URL url = new URL("http://github.com/XXXXXXXXXXXXXX");
            URLConnection connection = url.openConnection();

            DataInputStream inStream = new DataInputStream(connection.getInputStream());
            String inputLine;

            while ((inputLine = inStream.readLine()) != null) {
                System.out.println(inputLine);
            }
            inStream.close();
        } catch (MalformedURLException me) {
            System.err.println("MalformedURLException: " + me);
        } catch (IOException ioe) {
            System.err.println("IOException: " + ioe);
        }
    }
}

Работал, спасибо: вот что я придумал - просто грубое доказательство концепции: 

import java.net.*;
import java.io.*;

public class Test {

    public static void main(String[] args) {
//InputStream error = ((HttpURLConnection) connection).getErrorStream();

        URL url = null;
        URLConnection connection = null;
        String inputLine = "";

        try {

            url = new URL("http://verelo.com/asdfrwdfgdg");
            connection = url.openConnection();

            DataInputStream inStream = new DataInputStream(connection.getInputStream());

            while ((inputLine = inStream.readLine()) != null) {
                System.out.println(inputLine);
            }
            inStream.close();
        } catch (MalformedURLException me) {
            System.err.println("MalformedURLException: " + me);
        } catch (IOException ioe) {
            System.err.println("IOException: " + ioe);

            InputStream error = ((HttpURLConnection) connection).getErrorStream();

            try {
                int data = error.read();
                while (data != -1) {
                    //do something with data...
                    //System.out.println(data);
                    inputLine = inputLine + (char)data;
                    data = error.read();
                    //inputLine = inputLine + (char)data;
                }
                error.close();
            } catch (Exception ex) {
                try {
                    if (error != null) {
                        error.close();
                    }
                } catch (Exception e) {

                }
            }
        }

        System.out.println(inputLine);
    }
}

Ответы [ 2 ]

42 голосов
/ 03 февраля 2012

Простой: 

URLConnection connection = url.openConnection();
InputStream is = connection.getInputStream();
if (connection instanceof HttpURLConnection) {
   HttpURLConnection httpConn = (HttpURLConnection) connection;
   int statusCode = httpConn.getResponseCode();
   if (statusCode != 200 /* or statusCode >= 200 && statusCode < 300 */) {
     is = httpConn.getErrorStream();
   }
}

Вы можете обратиться к Javadoc для объяснения.Лучший способ справиться с этим заключается в следующем: 

URLConnection connection = url.openConnection();
InputStream is = null;
try {
    is = connection.getInputStream();
} catch (IOException ioe) {
    if (connection instanceof HttpURLConnection) {
        HttpURLConnection httpConn = (HttpURLConnection) connection;
        int statusCode = httpConn.getResponseCode();
        if (statusCode != 200) {
            is = httpConn.getErrorStream();
        }
    }
}
10 голосов
/ 03 февраля 2012

Вам необходимо сделать следующее после звонка openConnection.

  1. Приведите связь URLC к HttpURLConnection

  2. Вызовите getResponseCode

  3. Если ответ успешен, используйте getInputStream, в противном случае используйте getErrorStream

(Тест на успех должен быть 200 <= code < 300, потому что кроме допустимых 200 допустимых кодов HTTP).

Я делаю сканер, и мне нужно получать данные из потока независимо от того, равен ли он 200 или нет.

Просто имейте в виду, что если код является 4xx или 5xx, то "данные", вероятно, будут какой-то страницей с ошибкой.

Последнее замечание, которое следует сделать, это то, что вы всегда должны уважать файл "robots.txt" ... и читать Условия предоставления услуг, прежде чем сканировать / просматривать содержимое сайта, владельцы которого могут уход. Простое отклонение запросов GET может раздражать владельцев сайтов ... если вы уже не заключили с ними какую-то "договоренность".

...