Сброс соединения при потоковой передаче xml - PullRequest
Новая
       36

Сброс соединения при потоковой передаче xml

0 голосов
/ 15 декабря 2011

Мой код должен загрузить большой XML-файл (500 МБ) внутри GZIPInputStream и обработать его, выполняя некоторые операции для каждого объекта. Эти операции требуют времени, и у меня есть много объектов для обработки. Я использую общедоступный http-клиент 3.1 и stax. 

public void download(String url) throws HttpException, IOException, 
                XMLStreamException, FactoryConfigurationError {

        GetMethod getMethod = new GetMethod(url);
        try {
            httpClient.executeMethod(getMethod);    
            Header contentEncoding = getMethod.getResponseHeader("Content-Encoding");
            if (contentEncoding != null) {
                String acceptEncodingValue = contentEncoding.getValue();
                if (acceptEncodingValue.indexOf("gzip") != -1) {
                    processStream(new GZIPInputStream(getMethod.getResponseBodyAsStream()));
                    return;
                }
            }

            processStream(getMethod.getResponseBodyAsStream());
            return;           
        } finally {
            getMethod.releaseConnection();
        }
    }

    protected void processStream(InputStream inputStream) throws XMLStreamException, FactoryConfigurationError {
        XMLStreamReader xmlStreamReader = XMLInputFactory.newFactory().createXMLStreamReader(inputStream);
        //parses xml with Stax           
        //executes some long operations for each object
    }

Когда я запускаю код, он работает до тех пор, пока через два или три часа я не получу SocketException: Connection reset. Похоже, сервер закрыл соединение, это правильно? Есть ли способ избежать этой ошибки без каких-либо изменений на стороне сервера? Если нет, как я могу справиться с этим, чтобы избежать повторного запуска моего приложения с самого начала? 

com.ctc.wstx.exc.WstxIOException: Connection reset
    at com.ctc.wstx.sr.StreamScanner.throwFromIOE(StreamScanner.java:708)
    at com.ctc.wstx.sr.BasicStreamReader.next(BasicStreamReader.java:1086)
    .................
Caused by: java.net.SocketException: Connection reset
    at java.net.SocketInputStream.read(SocketInputStream.java:168)
    at java.io.BufferedInputStream.fill(BufferedInputStream.java:218)
    at java.io.BufferedInputStream.read1(BufferedInputStream.java:258)
    at java.io.BufferedInputStream.read(BufferedInputStream.java:317)
    at org.apache.commons.httpclient.ChunkedInputStream.read(ChunkedInputStream.java:182)
    at java.io.FilterInputStream.read(FilterInputStream.java:116)
    at org.apache.commons.httpclient.AutoCloseInputStream.read(AutoCloseInputStream.java:108)
    at java.util.zip.InflaterInputStream.fill(InflaterInputStream.java:221)
    at java.util.zip.InflaterInputStream.read(InflaterInputStream.java:141)
    at java.util.zip.GZIPInputStream.read(GZIPInputStream.java:92)
    at java.io.FilterInputStream.read(FilterInputStream.java:90)
    at com.ctc.wstx.io.UTF8Reader.loadMore(UTF8Reader.java:365)
    at com.ctc.wstx.io.UTF8Reader.read(UTF8Reader.java:110)
    at com.ctc.wstx.io.ReaderSource.readInto(ReaderSource.java:84)
    at com.ctc.wstx.io.BranchingReaderSource.readInto(BranchingReaderSource.java:57)
    at com.ctc.wstx.sr.StreamScanner.loadMore(StreamScanner.java:992)
    at com.ctc.wstx.sr.StreamScanner.loadMore(StreamScanner.java:1034)
    at com.ctc.wstx.sr.StreamScanner.getNextChar(StreamScanner.java:794)
    at com.ctc.wstx.sr.BasicStreamReader.parseNormalizedAttrValue(BasicStreamReader.java:1900)
    at com.ctc.wstx.sr.BasicStreamReader.handleNsAttrs(BasicStreamReader.java:3037)
    at com.ctc.wstx.sr.BasicStreamReader.handleStartElem(BasicStreamReader.java:2936)
    at com.ctc.wstx.sr.BasicStreamReader.nextFromTree(BasicStreamReader.java:2848)
    at com.ctc.wstx.sr.BasicStreamReader.next(BasicStreamReader.java:1019)

Ответы [ 2 ]

0 голосов
/ 17 декабря 2011

Если вы не можете скопировать xml на локальный компьютер, попробуйте проверить, не истекло ли время соединения.Возможно, обработка xml занимает слишком много времени, и соединение сбрасывается одним из промежуточных серверов

0 голосов
/ 15 декабря 2011

Одним из предложений будет локальное кеширование файла, а затем его обработка.

т. Ваш обработчик просто читает поток и записывает его во временный файл на диске. Затем он закрывает поток и обрабатывает данные из временного файла.

В любом случае, это, вероятно, хороший подход, поскольку, даже если вы можете поддерживать связь, возможности сбоя в сети, снижение QoS и т. Д. Могут сделать получение файла ненадежным. Возможно, вы также запрещаете серверу обновлять его на протяжении всей обработки, что немного антисоциально.

...