Производительность: XmlReader или LINQ to XML - PullRequest
Новая
       13

Производительность: XmlReader или LINQ to XML

9 голосов
/ 29 апреля 2010

У меня есть XML-файл размером 150 МБ, который используется в качестве базы данных в моем проекте. В настоящее время я использую XmlReader для чтения содержимого из него. Я хочу знать, лучше ли использовать XmlReader или LINQ to XML для этого сценария.

Обратите внимание, что я ищу элемент в этом XML и отображаю результаты поиска, так что это может занять много времени или мгновение.

Ответы [ 3 ]

10 голосов
/ 29 апреля 2010

Если вы хотите производительность, используйте XMLReader. Он не читает весь файл и не строит дерево DOM в памяти. Вместо этого он читает файл с диска и возвращает каждый найденный узел в пути.

С помощью быстрого поиска в Google я нашел сравнение производительности XMLReader, LinqToXML и XDocument.Load.

https://web.archive.org/web/20130517114458/http://www.nearinfinity.com/blogs/joe_ferner/performance_linq_to_sql_vs.html

8 голосов
/ 14 августа 2011

Я бы лично посмотрел на использование Linq to Xml с использованием методов потоковой передачи, описанных в файле справки Microsoft: http://msdn.microsoft.com/en-us/library/system.xml.linq.xstreamingelement.aspx#Y1392

Вот быстрое тестовое чтение из XML-файла 200 Мб с простым фильтром: 

var xmlFilename = "test.xml";

//create test xml file
var initMemoryUsage = GC.GetTotalMemory(true);
var timer = System.Diagnostics.Stopwatch.StartNew();
var rand = new Random();
var testDoc = new XStreamingElement("root", //in order to stream xml output XStreamingElement needs to be used for all parent elements of collection so no XDocument
    Enumerable.Range(1, 10000000).Select(idx => new XElement("child", new XAttribute("id", rand.Next(0, 1000))))
);
testDoc.Save(xmlFilename);
var outStat = String.Format("{0:f2} sec {1:n0} kb //linq to xml ouput streamed", timer.Elapsed.TotalSeconds, (GC.GetTotalMemory(false) - initMemoryUsage) / 1024);

//linq to xml not streamed
initMemoryUsage = GC.GetTotalMemory(true);
timer.Restart();
var col1 = XDocument.Load(xmlFilename).Root.Elements("child").Where(e => (int)e.Attribute("id") < 10).Select(e => (int)e.Attribute("id")).ToArray();
var stat1 = String.Format("{0:f2} sec {1:n0} kb //linq to xml input not streamed", timer.Elapsed.TotalSeconds, (GC.GetTotalMemory(false) - initMemoryUsage) / 1024);

//xmlreader
initMemoryUsage = GC.GetTotalMemory(true);
timer.Restart();
var col2 = new List<int>();
using (var reader = new XmlTextReader(xmlFilename))
{
    while (reader.ReadToFollowing("child"))
    {
        reader.MoveToAttribute("id");
        int value = Convert.ToInt32(reader.Value);
        if (value < 10)
            res2.Add(value);
    }
}
var stat2 = String.Format("{0:f2} sec {1:n0} kb //xmlreader", timer.Elapsed.TotalSeconds, (GC.GetTotalMemory(false) - initMemoryUsage) / 1024);

//linq to xml streamed
initMemoryUsage = GC.GetTotalMemory(true);
timer.Restart();
var col3 = StreamElements(xmlFilename, "child").Where(e => (int)e.Attribute("id") < 10).Select(e => (int)e.Attribute("id")).ToArray();
var stat3 = String.Format("{0:f2} sec {1:n0} kb //linq to xml input streamed", timer.Elapsed.TotalSeconds, (GC.GetTotalMemory(false) - initMemoryUsage) / 1024);

//util method
public static IEnumerable<XElement> StreamElements(string filename, string elementName)
{
    using (var reader = XmlTextReader.Create(filename))
    {
        while (reader.Name == elementName || reader.ReadToFollowing(elementName))
            yield return (XElement)XElement.ReadFrom(reader);
    }
}

А вот время обработки и использование памяти на моей машине: 

11.49 sec 225 kb      // linq to xml ouput streamed

17.36 sec 782,312 kb  // linq to xml input not streamed
6.52 sec 1,825 kb     // xmlreader
11.74 sec 2,238 kb    // linq to xml input streamed
2 голосов
/ 29 апреля 2010

Напишите несколько тестов производительности, чтобы точно определить, какова ситуация для вас, и возьмите ее оттуда ... Linq2XML обеспечивает большую гибкость ...

...