Чтение нескольких XML-файлов Java

Question

У меня есть ~ 25000 XML-файлов, которые мне нужно прочитать в Java.Это мой код:

private static void ProcessFile() {
    try {


        File fXmlFile = new File("C:/Users/Emolk/Desktop/000010.xml");
        DocumentBuilderFactory dbFactory = DocumentBuilderFactory.newInstance();
        DocumentBuilder dBuilder = dbFactory.newDocumentBuilder();
        Document doc = dBuilder.parse(fXmlFile);


        doc.getDocumentElement().normalize();

        System.out.println("Root element :" + doc.getDocumentElement().getNodeName());

        NodeList nList = doc.getElementsByTagName("sindex");

        System.out.println("----------------------------");

        for (int temp = 0; temp < nList.getLength(); temp++) {

            Node nNode = nList.item(temp);

            System.out.println("");

            if (nNode.getNodeType() == Node.ELEMENT_NODE) {

                Element eElement = (Element) nNode;

                System.out.println("Name : " + eElement.getElementsByTagName("name").item(0).getTextContent());
                System.out.println("Count : " + eElement.getElementsByTagName("count").item(0).getTextContent());

                Entity CE = new Entity(eElement.getElementsByTagName("name").item(0).getTextContent(), Integer.parseInt(eElement.getElementsByTagName("count").item(0).getTextContent()));
                Entities.add(CE);
                System.out.println("Entity added! ");
            }
        }
        System.out.println(Entities);
        } catch (Exception e) {
        e.printStackTrace();
        }
}

Как мне прочитать 25000 файлов вместо одного?

Я попытался объединить все XML-файлы, используя это: https://www.sobolsoft.com/howtouse/combine-xml-files.htm

Но это дало мне эту ошибку:

[Fatal Error] joined.xml:130:2: The markup in the document following the 
root element must be well-formed.

Answer 1

Для чтения нескольких файлов вы должны использовать какой-то цикл для итерации.Вы можете сканировать все действительные файлы в каталоге.

File folder = new File("path/to/directory");
File[] files = folder.listFiles();

for (int i = 0; i < files.length; i++) {
    // you can also filter for .xml if needed
    if (files[i].isFile()) {
        // parse the file
    }
}

Далее вам нужно решить, как вы хотите анализировать файлы: последовательно или параллельно .Параллель намного быстрее, так как вы используете несколько потоков для разбора файлов.

Один поток

Вы можете повторно использовать свой код, который вы уже написали, и перебирать файлы:

for (File file : files) {
    processFile(file, yourListOfEntities);
}

Несколько потоков:

Aquire a ScheduledExecutorService и отправка нескольких задач.

ExecutorService service = Executors.newFixedThreadPool(5);

for (File file : files) {
    service.execute(() -> processFile(file, yourListOfEntities));
}

Важное замечание: реализация по умолчанию ArrayList не является поточно-безопасной, поэтому выследует (поскольку List используется несколькими потоками) синхронизировать доступ к нему:

List<Entity> synchronizedList = Collections.synchronizedList(yourListOfEntities);

Кроме того, DocumentBuilder не является потокобезопасным и его следует создавать один раз для каждого потока (если выпросто назовите свой метод).Эта заметка только для случая, если вы думаете об ее оптимизации.

Answer 2

Если производительность не имеет значения, то вы можете сделать что-то вроде

    import java.io.File;
    import java.util.List;

    import javax.xml.parsers.DocumentBuilder;
    import javax.xml.parsers.DocumentBuilderFactory;

    import org.w3c.dom.Document;
    import org.w3c.dom.NodeList;

    public class ReadFiles {
        public static void main(String[] args) {

            File dir = new File("D:/Work"); //Directory where your file exists

            File [] files = dir.listFiles();

            for(File file : files) {
                if(file.isFile() && file.getName().endsWith(".xml")) { //You can validate file name with extension if needed
                    ProcessFile(file, Entities);  // Assumed you have declared Entities, may be list of other collection
                }
            }

            System.out.println(Entities);
        }

        private static void ProcessFile(File fXmlFile, List<E> Entities) {
            try {

                DocumentBuilderFactory dbFactory = DocumentBuilderFactory.newInstance();
                DocumentBuilder dBuilder = dbFactory.newDocumentBuilder();
                Document doc = dBuilder.parse(fXmlFile);

                doc.getDocumentElement().normalize();

                System.out.println("Root element :" + doc.getDocumentElement().getNodeName());

                NodeList nList = doc.getElementsByTagName("sindex");

                System.out.println("----------------------------");

                for (int temp = 0; temp < nList.getLength(); temp++) {

                    Node nNode = nList.item(temp);

                    System.out.println("");

                    if (nNode.getNodeType() == Node.ELEMENT_NODE) {

                        Element eElement = (Element) nNode;

                        System.out.println("Name : " + eElement.getElementsByTagName("name").item(0).getTextContent());
                        System.out.println("Count : " + eElement.getElementsByTagName("count").item(0).getTextContent());

                        Entity CE = new Entity(eElement.getElementsByTagName("name").item(0).getTextContent(), Integer.parseInt(eElement.getElementsByTagName("count").item(0).getTextContent()));
                        Entities.add(CE);
                        System.out.println("Entity added! ");
                    }
                }           
            } catch (Exception e) {
                e.printStackTrace();
            }
        }
    }