HttpURLConnection getInputStream слишком медленный - PullRequest
Новая
       9

HttpURLConnection getInputStream слишком медленный

0 голосов
/ 24 февраля 2019

У меня есть сайт с API, который я использую для получения данных JSON.У меня есть класс ConnectClass, экземпляр которого создается при каждой отправке запроса.Когда создается экземпляр ConnectClass, создается новый объект HttpURLConnection, .setup() ed и .connect() ed: 

class ConnectClass  {
        private HttpURLConnection connection;

        private String link;
        private REQUEST_TYPE requestType;
        private URL url;
        private AccessToken accessToken;  

        public String send() throws Exception  {
                connection.connect();
                System.out.println("start get input stream");  //from this
                InputStream input = connection.getInputStream();

                System.out.println("end get input stream");  //to this takes too long

                System.out.println("Start scanner");
                String inputString = new Scanner(input, "UTF-8").useDelimiter("\\Z").next();
                System.out.println("End scanner");
                input.close();

                return inputString;  //returns response JSON string
        }

        public ConnectClass(String link, AccessToken accessToken, REQUEST_TYPE requestType)  throws Exception {
            this.link = link;
            this.accessToken = accessToken;
            this.requestType = requestType;

            this.url = new URL(link);
            connection = (HttpURLConnection)  url.openConnection();
            setup();
        }

        private void setup() throws Exception {
            //connection.setDoOutput(true);
            connection.setConnectTimeout(100);  //doesn't really change things 
            //connection.setChunkedStreamingMode(1024);
            connection.setRequestProperty("charset", "utf-8");
            connection.setRequestProperty("User-Agent", "some description v2.0");

            connection.setRequestProperty("Content-Type", "application/x-www-form-urlencoded");

            connection.setRequestProperty("Authorization", "Bearer " + accessToken.ACCESS_TOKEN_LONG);
            connection.setRequestMethod("GET");

            connection.setInstanceFollowRedirects(false);
        }
    }

Однако мне нужно отправить 10 таких запросов в видепетля.И каждый запрос занимает около 1,3 секунды, тогда как все 10 запросов должны занимать не более 1-2 секунд вместе.Я обнаружил, что большинство времени тратится на получение входного потока и его обработку: InputStream input = connection.getInputStream(); - это занимает около 0,6–1 секунды, а String inputString = new Scanner(input, "UTF-8").useDelimiter("\\Z").next(); - около 0,1–0,2 секунды.

Могу ли я что-нибудь сделатьчтобы уменьшить время на запрос?

Я попытался установить тайм-аут соединения равным 100, но он не имел видимого эффекта.

РЕДАКТИРОВАТЬ : Ответ JSONдовольно большой.connection.setRequestProperty("Accept-Encoding", "gzip");, а затем использование InputStream input = new GZIPInputStream(connection.getInputStream()); помогает, но экономит всего около 4-5 секунд.

Я не могу использовать параллельные запросы - каждый новый запрос зависит от предыдущего (принимает параметр изпредыдущий ввод JSON и передает его в новом запросе по ссылке).

1 Ответ

0 голосов
/ 25 февраля 2019

Ниже - ваш код с удаленными битами, позволяющими компилировать.Main делает GET в Google.На моей машине send занимает ~ 300 миллис.завершить.Если вы получаете аналогичные сроки, я бы посоветовал вам убедиться, что ваша учетная запись настроена правильно и не регулируется, например, 

import java.io.InputStream;
import java.net.HttpURLConnection;
import java.net.URL;
import java.util.Scanner;

class ConnectClass {
    private HttpURLConnection connection;

    private String link;
    private URL url;

    public String send() throws Exception {
        connection.connect();
        System.out.println("start get input stream");  //from this
        InputStream input = connection.getInputStream();

        System.out.println("end get input stream");  //to this takes too long

        System.out.println("Start scanner");
        String inputString = new Scanner(input, "UTF-8").useDelimiter("\\Z").next();
        System.out.println("End scanner");
        input.close();


//        System.out.println(inputString);
        return inputString;  //returns response JSON string
    }

    public ConnectClass(String link) throws Exception {
        this.link = link;

        this.url = new URL(link);
        connection = (HttpURLConnection) url.openConnection();
        setup();
    }

    private void setup() throws Exception {
        connection.setDoOutput(true);
        connection.setConnectTimeout(100);  //doesn't really change things
        connection.setRequestProperty("charset", "utf-8");
        connection.setRequestProperty("User-Agent", "some description v2.0");
        connection.setRequestProperty("Content-Type", "application/x-www-form-urlencoded");

        connection.setRequestMethod("GET");
        connection.setInstanceFollowRedirects(false);
    }


    public static void main(String[] args) throws Exception {

        ConnectClass cc = new  ConnectClass("https://www.google.com");

        long start = System.currentTimeMillis();
        cc.send();
        System.out.println("Done in " + (System.currentTimeMillis() - start));
    }
}

Другая возможность заключается в том, что вы получаете большой ответ.Если это так, вы можете использовать HTTP-клиент, который поддерживает сжатие.

...