Улучшить производительность DataTable.ReadXml - PullRequest
Новая
       17

Улучшить производительность DataTable.ReadXml

2 голосов
/ 08 сентября 2011

Я пишу DataTable в xml с помощью метода DataTable.WriteXml (). Это занимает несколько секунд, что я считаю очень хорошим.

Однако чтение файла (размер 38 МБ, 26000 строк, 36 столбцов) с использованием метода ReadXml () - занимает 3 минуты! Я уже использую метод DataTable.BeginLoadData () перед вызовом ReadXml (что ускорило его на ~ 10 секунд), но есть ли что-то еще, что я могу сделать для повышения производительности?

Вот метод загрузки: 

            data = new DataTable();
            data.BeginLoadData();
            data.ReadXml(filedialog.FileName);
            data.EndLoadData();

Я использовал точки останова и секундомер, чтобы увидеть, что на самом деле это метод ReadXml, который отнимает много времени.

Вот схема XML: 

<?xml version="1.0" standalone="yes"?>
<xs:schema id="NewDataSet" xmlns="" xmlns:xs="http://www.w3.org/2001/XMLSchema" xmlns:msdata="urn:schemas-microsoft-com:xml-msdata">
  <xs:element name="NewDataSet" msdata:IsDataSet="true" msdata:MainDataTable="ReportTable" msdata:UseCurrentLocale="true">
    <xs:complexType>
      <xs:choice minOccurs="0" maxOccurs="unbounded">
        <xs:element name="ReportTable">
          <xs:complexType>
            <xs:sequence>
              <xs:element name="Task" type="xs:int" minOccurs="0" />
              <xs:element name="Project" type="xs:string" minOccurs="0" />
              <xs:element name="DP" type="xs:string" minOccurs="0" />
              <xs:element name="Requester" type="xs:string" minOccurs="0" />
              <xs:element name="TaskType" type="xs:string" minOccurs="0" />
              <xs:element name="OriginalMethod" type="xs:string" minOccurs="0" />
              <xs:element name="Method" type="xs:string" minOccurs="0" />
              <xs:element name="Country" type="xs:string" minOccurs="0" />
              <xs:element name="DayPosted" type="xs:string" minOccurs="0" />
              <xs:element name="DayFinished" type="xs:string" minOccurs="0" />
              <xs:element name="Posted" type="xs:dateTime" minOccurs="0" />
              <xs:element name="JustifiedPosted" type="xs:dateTime" minOccurs="0" />
              <xs:element name="Due" type="xs:dateTime" minOccurs="0" />
              <xs:element name="DueInSec" type="xs:double" minOccurs="0" />
              <xs:element name="AvailableDPWorkTime" type="xs:double" minOccurs="0" />
              <xs:element name="AvailableWorkHours" type="xs:string" minOccurs="0" />
              <xs:element name="StartedDate" type="xs:dateTime" minOccurs="0" />
              <xs:element name="FinishDate" type="xs:dateTime" minOccurs="0" />
              <xs:element name="SecUsed" type="xs:double" minOccurs="0" />
              <xs:element name="MinsUsed" type="xs:double" minOccurs="0" />
              <xs:element name="HoursUsed" type="xs:double" minOccurs="0" />
              <xs:element name="TimeUsed" type="xs:string" minOccurs="0" />
              <xs:element name="Month" type="xs:string" minOccurs="0" />
              <xs:element name="Experience" type="xs:int" minOccurs="0" />
              <xs:element name="Delay" type="xs:string" minOccurs="0" />
              <xs:element name="SecDelay" type="xs:int" minOccurs="0" />
              <xs:element name="TimeDelayed" type="xs:string" minOccurs="0" />
              <xs:element name="PostedVsDue" type="xs:string" minOccurs="0" />
              <xs:element name="Modified" type="xs:dateTime" minOccurs="0" />
              <xs:element name="AvailableDPModWorkTime" type="xs:double" minOccurs="0" />
              <xs:element name="ModifiedAvailableWorkHours" type="xs:string" minOccurs="0" />
              <xs:element name="MasterProject" type="xs:string" minOccurs="0" />
              <xs:element name="Year" type="xs:string" minOccurs="0" />
              <xs:element name="Department" type="xs:string" minOccurs="0" />
              <xs:element name="Customer" type="xs:string" minOccurs="0" />
            </xs:sequence>
          </xs:complexType>
        </xs:element>
      </xs:choice>
    </xs:complexType>
  </xs:element>
</xs:schema>

1 Ответ

2 голосов
/ 09 сентября 2011

У меня давно была такая же проблема, она была решена установкой EnforceConstraints в false, readXml, а затем вернула его в true.

Попробуйте.

Здесь документы http://msdn.microsoft.com/en-us/library/s3bxwk8b(v=vs.80).aspx

EDIT:

пользователь загружает данные непосредственно в DataTable, также предлагает загрузить данные в поток, чтобы изолировать проблему производительности сети / диска от чистого вызова data.ReadXml(...);

ReadXml также имеет перегрузку для чтения из потока, которая может быть использована после загрузки данных в поток.

...