Устранение утечки памяти с помощью JAXBContext в приложении Java - PullRequest
0 голосов
/ 13 марта 2019

Я пытаюсь диагностировать и устранить серьезную утечку памяти с JAXBContext. Однако, несмотря на многие попытки сделать это, я безуспешно.

Короче говоря, мое приложение использует небольшой и постоянный объем памяти в течение первых 50 минут выполнения. Примерно через 50 минут число классов / память увеличивается с менее чем 4000 (классы) до приблизительно 8000 (аналогичное увеличение происходит с памятью). Так продолжается до 1 часа и 16 минут, когда количество классов (как отмечено в YourKit) увеличивается до 246 000 в течение следующих 15-20 минут выполнения.

Примерно в то же время, когда увеличивается использование памяти / класса, моя программа начинает загружать изображения на сервер eBay с помощью Java SDK EBay [com.ebay.sdk.pictureservice.eps].

Я проанализировал Object Allocation Call Tree в YourKit и, похоже, моя программа вызывает следующие методы:

public int uploadPictures(PhotoDisplayCodeType arg0, PictureInfo[] arg1) {
    int arg2 = 0;

    for (int arg3 = 0; arg3 < arg1.length; ++arg3) {
            if (this.uploadPicture(arg0, arg1[arg3])) {
                ++arg2;
        }
    }

 return arg2;
}


public boolean uploadPicture(PhotoDisplayCodeType arg0, PictureInfo arg1) {
    UploadSiteHostedPicturesRequestType arg2 = new UploadSiteHostedPicturesRequestType();
    if (arg0.equals(PhotoDisplayCodeType.SUPER_SIZE) || arg0.equals(PhotoDisplayCodeType.PICTURE_PACK)) {
                arg2.setPictureSet(PictureSetCodeType.SUPERSIZE);
   }

    return this.UpLoadSiteHostedPicture(arg1, arg2);
}


public boolean UpLoadSiteHostedPicture(PictureInfo arg0, UploadSiteHostedPicturesRequestType arg1) {
        ApiLogging arg2 = this.apiContext.getApiLogging();

        System.out.println("Starting picture upload..");

        try {
            Document arg3 = this.marshal(arg1);
            this.addAuthToken(arg3);
            String arg4;
            if (arg2 != null && arg2.isLogSOAPMessages()) {
                arg4 = XmlUtil.getXmlStringFromDom(arg3);
                this.logMessage("UploadSiteHostedPicturesRequest", arg4);
            }


            arg4 = this.xmlToString(arg3);
            String arg5 = this.sendFile(arg0.getPictureFilePath(), arg4);
            if (arg2 != null && arg2.isLogSOAPMessages()) {
                Document arg6 = XmlUtil.createDom(arg5);
                String arg7 = XmlUtil.getXmlStringFromDom(arg6);
                this.logMessage("UploadSiteHostedPicturesResponse", arg7);
            }

            UploadSiteHostedPicturesResponseType arg9 = this.unmarshal(arg5);
            arg0.setReponse(arg9);
            if (arg9.getErrors() != null && arg9.getErrors().length != 0) {
                if (arg9.getErrors().length > 0 && arg9.getAck() == AckCodeType.WARNING) {
                    arg0.setURL(arg9.getSiteHostedPictureDetails().getFullURL());
                    arg0.setErrorType("PICTURE SERVICE RESPONSE WARNING");
                    arg0.setErrorMessage(arg9.getErrors()[0].getShortMessage());
                    if (arg2 != null && arg2.isLogExceptions()) {
                        log.warn("PICTURE SERVICE RESPONSE WARNING");
                        log.warn(arg9.getErrors()[0].getShortMessage());
                    }

                    return true;
                } else {
                    arg0.setErrorType("PICTURE SERVICE RESPONSE ERROR");
                    arg0.setErrorMessage(arg9.getErrors()[0].getShortMessage());
                    if (arg2 != null && arg2.isLogExceptions()) {
                        log.error("PICTURE SERVICE RESPONSE ERROR");
                        log.error(arg9.getErrors()[0].getShortMessage());
                    }

                    return false;
                }
            } else {
                arg0.setURL(arg9.getSiteHostedPictureDetails().getFullURL());
                return true;
            }
        } catch (Exception arg8) {
            arg0.setErrorType("PICTURE SERVICE UPLOAD ERROR");
            arg0.setErrorMessage(arg8.getMessage());
            if (arg2 != null && arg2.isLogExceptions()) {
                log.error("fail to upload picture to eBay picture server!");
                log.error(arg8.getMessage());
            }

            return false;
        }
}



private Document marshal(UploadSiteHostedPicturesRequestType arg0)
            throws JAXBException, ParserConfigurationException {

        **// Is this line causing memory leak?**
        JAXBContext arg1 = JAXBContext.newInstance(new Class[] { UploadSiteHostedPicturesRequestType.class }); 
        Marshaller arg2 = arg1.createMarshaller();
        if (arg0 == null) {
            arg0 = new UploadSiteHostedPicturesRequestType();
        }

        JAXBElement arg3 = (new ObjectFactory()).createUploadSiteHostedPicturesRequest(arg0);
        DocumentBuilderFactory arg4 = DocumentBuilderFactory.newInstance();
        arg4.setNamespaceAware(true);
        DocumentBuilder arg5 = arg4.newDocumentBuilder();
        Document arg6 = arg5.newDocument();
        arg2.marshal(arg3, arg6);
        return arg6;
    }

Моя программа вызывает uploadPictures() несколько сотен раз подряд. Мне кажется, что память начинает резко увеличиваться примерно в то время, когда программа вызывает эту функцию.

Верны ли мои диагнозы? Как я могу это исправить?

Обновление:

Я нашел эту связанную тему на SO . Если мои диагнозы верны, возможно, это ошибка в версии JAXBContext, используемой EBay SDK.

Обновление:

Я попытался решить эту проблему, изменив класс JAXBContext на singleton, но, к сожалению, это не помогло решить проблему:

public class JAXBContextFactory {
    private static JAXBContextFactory instance = new JAXBContextFactory();

    private static final Map< String, JAXBContext > INSTANCES = new ConcurrentHashMap<String, JAXBContext>();



    private JAXBContextFactory() {
    }

    /**
     * Returns an existing JAXBContext if one for the particular namespace exists, 
     * else it creates an instance adds it to a internal map.
     * @param contextPath the context path
     * @throws JAXBException exception in creating context
     * @return a created JAXBContext
     */
    public JAXBContext getJaxBContext(final String contextPath) throws JAXBException {


     JAXBContext context = INSTANCES.get(contextPath);
        if (context == null) {
            context = JAXBContext.newInstance(contextPath);
            INSTANCES.put(contextPath, context);
        }
        return context;
    }


    /**
     * Returns an existing JAXBContext if one for the particular namespace exists,
     * else it creates an instance adds it to a internal map.
     * @param contextPath the context path
     * @throws JAXBException exception in creating context
     * @return a created JAXBContext
     */
    public JAXBContext getJaxBContext(final Class contextPath) throws JAXBException {
        JAXBContext context = INSTANCES.get(contextPath.getName());
        if (context == null) {
            context = JAXBContext.newInstance(contextPath);
            INSTANCES.put(contextPath.getName(), context);
        }
        return context;
    }

    /**
     * Get instance.
     * @return Instance of this factory
     */
    public static JAXBContextFactory getInstance() {
        return instance;
    }
}

Когда я смотрю на Inspections в YourKit под "Other memory oddities", единственная проблема, которую я обнаруживаю, это 243,959 "Classes with same name". Когда я проверяю классы, я вижу, что все они содержат термин 'JAXB'. На основании этих наблюдений у меня есть несколько вопросов:

1) Почему бы Singleton не решить проблему с созданием множества JAXBContext?

2) Даже без Singleton, почему все соответствующие классы не собираются мусором, когда мое приложение явно заканчивает использовать их / загружать изображения? Я не ссылаюсь на класс JAXBContext после завершения загрузки.

Спасибо!

1 Ответ

1 голос
/ 13 марта 2019

В вашем marshal(UploadSiteHostedPicturesRequestType arg0) методе у вас есть строка

// Is this line causing memory leak?
JAXBContext arg1 = JAXBContext.newInstance(new Class[] { UploadSiteHostedPicturesRequestType.class });

Хотя эта строка не является строго утечкой памяти, он использует много памяти и занимает много процессорного времени, потому что он создает новый тяжелый JAXBContext объект каждый раз. После возврата из этого метода на локальную переменную JAXBContext arg1 больше не ссылаются, но он останется в памяти, пока не будет собран мусор (и это может не произойти в течение длительного времени).

Вы должны заменить эту строку на

JAXBContext arg1 = JAXBContextFactory.getInstance().getJaxBContext(UploadSiteHostedPicturesRequestType.class);

Это должно значительно улучшить использование памяти и процессорного времени.

...