DataTable всегда загружает данные из SqlDataReader - PullRequest
Новая
       13

DataTable всегда загружает данные из SqlDataReader

0 голосов
/ 04 сентября 2018

Я загружаю данные из таблицы MS SQL Server, используя следующий код: 

using (SqlDataReader rdr = cmd.ExecuteReader())
{
    if (rdr.HasRows)
    {
        dt.Load(rdr); //takes forever to load
    }
    if (dt.Rows.Count > 0 && !dt.HasErrors)
    {
        Parallel.For (0, dt.Rows.Count, i => 
        { 
            byte[] docBytes = (byte[])(dt.Rows[i]["DocObject"]);    File.WriteAllBytes(Path.Combine(Path.Combine(AppDomain.CurrentDomain.BaseDirectory, "Documents\\"), $"{dt.Rows[i]["FileName"].ToString().ToLower()}"), docBytes); 
             });
        }
    }
}

SQL-запрос выполняется менее чем за одну секунду. Данные содержат столбец изображения SQL, который содержит двоичные данные документа. Я использовал секундомер из System.Diagnostics для определения времени выполнения и обнаружил, что этот единственный оператор dt.Load (rdr) занимает около 5 минут для загрузки около 5000 записей. Моему приложению нужно загрузить несколько миллионов строк, и в таком случае приложение будет непригодным для использования. Это приложение Windows Forms, созданное с использованием стандартных форм Windows Forms. Любые идеи, почему dt.Load (rdr) берет навсегда? Будем весьма благодарны за любые идеи по переписыванию этого кода или улучшению его производительности.

Ответы [ 2 ]

0 голосов
/ 04 сентября 2018

Ниже код не проверен. Это просто идея.

Другим подходом будет определение класса сущностей и заполнение списка SqldataReader. И вообще не используйте DataTable.

Также следует как можно скорее закрыть соединение с БД. Так что во время извлечения не делайте другую работу.

Надеюсь, вы используете connection pool в строке подключения 

public class Example
{
public byte DocObject {get;set;}
public string FileName {get;set;}
}

List<Example> objList=new List<Example>();

using (SqlDataReader rdr = cmd.ExecuteReader())
{
while (rdr.Read())
{
      Example obj=new Example();

     obj.DocObject=(byte[])rdr["DocObject"] //suitable cast
     obj.FileName =rdr["FileName "].toSting() //suitable cast

       objList.Add(obj);
}
}

}

if (objList.Count > 0)
    {
        Parallel.For (0, objList.Count, i => 
        { 
            byte[] docBytes = (byte[])(objList[i]["DocObject"]);    File.WriteAllBytes(Path.Combine(Path.Combine(AppDomain.CurrentDomain.BaseDirectory, "Documents\\"), $"{objList[i]["FileName"].ToString().ToLower()}"), docBytes); 
             });
        }
    }
0 голосов
/ 04 сентября 2018

Попробуйте что-то вроде этого, вместо загрузки всех строк в память на клиенте: 

using (SqlDataReader rdr = cmd.ExecuteReader(CommandBehavior.SequentialAccess))
{ 
    while (rdr.Read())
    {
        string fn = rdr.GetString(0);
        using (var rs = rdr.GetStream(1))
        {
            var fileName = $"c:\\temp\\{fn}.txt";
            using (var fs = File.OpenWrite(fileName))
            {
                rs.CopyTo(fs);
            }
            Console.WriteLine(fileName);

        }
    }                
}
...