JAXP00010004 и java.lang.OutOfMemoryError: превышен лимит накладных расходов GC - PullRequest
Новая
       10

JAXP00010004 и java.lang.OutOfMemoryError: превышен лимит накладных расходов GC

0 голосов
/ 18 ноября 2018

У меня есть проект maven, когда мне нужно разобрать abig rdf файл.

мой код: 

import java.io.File;
import java.io.FileInputStream;
import java.io.FileOutputStream;
import java.io.IOException;
import java.io.InputStream;

import org.eclipse.rdf4j.model.Model;
import org.eclipse.rdf4j.model.Statement;
import org.eclipse.rdf4j.model.impl.LinkedHashModel;
import org.eclipse.rdf4j.rio.RDFFormat;
import org.eclipse.rdf4j.rio.RDFHandlerException;
import org.eclipse.rdf4j.rio.RDFParseException;
import org.eclipse.rdf4j.rio.RDFParser;
import org.eclipse.rdf4j.rio.RDFWriter;
import org.eclipse.rdf4j.rio.Rio;
import org.eclipse.rdf4j.rio.helpers.StatementCollector;

public class ConvertOntology {

    public static void main(String[] args) throws RDFParseException, RDFHandlerException, IOException {
        // TODO Auto-generated method stub

        String file = "C:\\Users\\user\\Desktop\\fileA.rdf";

        File initialFile = new File(file);
        InputStream input = new FileInputStream(initialFile);


        RDFParser parser = Rio.createParser(RDFFormat.RDFXML);
        parser.setPreserveBNodeIDs(true); 

        Model model = new LinkedHashModel();
        parser.setRDFHandler(new StatementCollector(model));
        parser.parse(input, initialFile.getAbsolutePath());

        FileOutputStream out = new FileOutputStream("C:\\Users\\user\\Desktop\\fileB.rdf");
        RDFWriter writer = Rio.createWriter(RDFFormat.RDFXML, out);
        try {
          writer.startRDF();
          for (Statement st: model) {

                    writer.handleStatement(st);
          }
          writer.endRDF();
        }
        catch (RDFHandlerException e) {
         // oh no, do something!
        }
        finally {
          out.close();
        }
    }

}

Кодовое слово хорошо для небольшого файла, но с большим файлом я получаю следующее исключение 

JAXP00010001: The parser has encountered more than "64000" entity expansions in this document; this is the limit imposed by the JDK

В eclipse я запускаю проект, нажимая на run >> runconfiguration >> аргумент, затем устанавливая в аргументе VM -DentityExpansionLimit = 1000000.i получаю новое исключение из-за ограничения памяти: 

the Exception in thread "main" java.lang.OutOfMemoryError: GC overhead limit exceeded

так что максимальная куча, которую я могу установить, мала для того, что нужно файлу. Поэтому я хочу выполнить свой код на сервере. Обычно я компилирую и запускаю свой maven на сервере: 

mvn compile
mv exec:java

Мой вопрос: Я установил -DentityExpansionLimit = 5000000 в Maven 

mvn -DentityExpansionLimit=5000000 exec:java

но я получаю оригинальное исключение: 

[ERROR] Failed to execute goal org.codehaus.mojo:exec-maven-plugin:1.2.1:java (default-cli) on project rdf4j-getting-started: An exception occured while executing the Java class. null: InvocationTargetException: JAXP00010004: The accumulated size of entities is "50,000,018" that exceeded the "50,000,000" limit set by "FEATURE_SECURE_PROCESSING". [line 1, column 34] -> [Help 1]

как можно решить эту проблему?

Ответы [ 2 ]

0 голосов
/ 19 ноября 2018

Используя mvn -Djdk.xml.totalEntitySizeLimit=0 -DentityExpansionLimit=0 exec:java, я решил свою проблему. Надеюсь, что это поможет

0 голосов
/ 19 ноября 2018

Согласно документации вы можете использовать отрицательное значение для снятия ограничений.

...