SAX-парсер для очень большого XML-файла - PullRequest
Новая
       31

SAX-парсер для очень большого XML-файла

2 голосов
/ 16 апреля 2011

Я имею дело с очень большим XML-файлом, 4 ГБ, и я всегда получаю сообщение об ошибке нехватки памяти, моя куча Java уже максимально увеличена, вот почему код: 

Handler h1 = new Handler("post");
        Handler h2 = new Handler("comment");
        posts = new Hashtable<Integer, Posts>();
        comments = new Hashtable<Integer, Comments>();
        edges = new Hashtable<String, Edges>();
         try {
                output = new BufferedWriter(new FileWriter("gephi.gdf"));
                SAXParser parser = SAXParserFactory.newInstance().newSAXParser();
                SAXParser parser1 = SAXParserFactory.newInstance().newSAXParser();


                parser.parse(new File("G:\\posts.xml"), h1);
                parser1.parse(new File("G:\\comments.xml"), h2);
            } catch (Exception ex) {
                ex.printStackTrace();
            }

    @Override
         public void startElement(String uri, String localName, String qName, 
                    Attributes atts) throws SAXException {
                if(qName.equalsIgnoreCase("row") && type.equals("post")) {
                    post = new Posts();
                    post.id = Integer.parseInt(atts.getValue("Id"));
                    post.postTypeId = Integer.parseInt(atts.getValue("PostTypeId"));
                    if (atts.getValue("AcceptedAnswerId") != null)
                        post.acceptedAnswerId = Integer.parseInt(atts.getValue("AcceptedAnswerId"));
                    else
                        post.acceptedAnswerId = -1;
                    post.score = Integer.parseInt(atts.getValue("Score"));
                    if (atts.getValue("OwnerUserId") != null)
                        post.ownerUserId = Integer.parseInt(atts.getValue("OwnerUserId"));
                    else
                        post.ownerUserId = -1;
                    if (atts.getValue("ParentId") != null)
                        post.parentId = Integer.parseInt(atts.getValue("ParentId"));
                    else
                        post.parentId = -1;
                }
                else if(qName.equalsIgnoreCase("row") && type.equals("comment")) {
                    comment = new Comments();
                    comment.id = Integer.parseInt(atts.getValue("Id"));
                    comment.postId = Integer.parseInt(atts.getValue("PostId"));
                    if (atts.getValue("Score") != null)
                        comment.score = Integer.parseInt(atts.getValue("Score"));
                    else
                        comment.score = -1;
                    if (atts.getValue("UserId") != null)
                        comment.userId = Integer.parseInt(atts.getValue("UserId"));
                    else
                        comment.userId = -1;
                }
            }



public void endElement(String uri, String localName, String qName) 
         throws SAXException {
             if(qName.equalsIgnoreCase("row") && type.equals("post")){ 
                 posts.put(post.id, post);
                 //System.out.println("Size of hash table is " + posts.size());
             }else if (qName.equalsIgnoreCase("row") && type.equals("comment"))
                 comments.put(comment.id, comment);
         }

Есть ли способ оптимизировать этот код, чтобы мне не хватало памяти? Возможно использовать потоки? Если да, как бы ты это сделал?

Ответы [ 2 ]

3 голосов
/ 16 апреля 2011

Синтаксический анализатор SAX работает с ошибкой.

Сообщения, комментарии и преимущества HashMaps сразу же выскакивают как потенциальные проблемы. Я подозреваю, что вам нужно будет периодически удалять эти карты из памяти, чтобы избежать OOME.

0 голосов
/ 26 июня 2011

Посмотрите на проект под названием SaxDoMix http://www.devsphere.com/xml/saxdomix/

. Он позволяет вам анализировать большой XML-файл и возвращать определенные элементы в виде проанализированных DOM-сущностей.Работать с парсером SAX намного проще, чем с purs.

...