Как быстро ввести в DataTable? Или сохранить данные на постоянной основе в DataTable?

Question

Я ввожу текстовый файл в DataTable, а затем использую SqlBulkCopy для копирования в базу данных.В то время как BulkCopy работает быстро, вставка 50000+ строк в DataTable - нет (около 5 минут)Как мне сделать это эффективным?

Можно ли быстро вставить данные в таблицу данных?Если нет, есть ли способ сохранить введенные данные на постоянной основе в DataTable, чтобы мне не приходилось вставлять их каждый раз при запуске программы?

    for (; i < fares.Length; )
            {
                k = i;
                Console.WriteLine("Inserting " + k + " out of " + (fares.Length));
                for (; i <= (k + 3); i++)
                {
                    if (i % 4 == 0)
                    {
                        for (int j = 0; j < fares.Length - 1; j++)
                        {
                            {
                                int space = fares[i].IndexOf(" ");
                                startStation = fares[i].Substring(0, space);

                                endStation = fares[i].Substring(space + 1, fares[i].Length - space - 1);

                            }
                        }
                    }

                    else if (i % 4 == 1)
                    {
                        valueFare = fares[i];
                    }
                    else if (i % 4 == 2)
                    {
                        standardFare = fares[i];

                    }
                    else if (i % 4 == 3)
                    {
                        time = int.Parse(fares[i]);
                    }


                }

                faresDT.Rows.Add(startStation, endStation, valueFare, standardFare, time);

Answer 1

Если вы хотите оптимизировать нагрузку на базу данных, я предлагаю вам полностью избавиться от DataTable. Используя FastMember Марка Гравелла (и любой, кто использует SqlBulkCopy, должен использовать IMHO FastMember), вы можете получить DataReader непосредственно из любого IEnumerable.

Я бы использовал некоторые варианты приведенного ниже кода при записи из файла непосредственно в базу данных. Приведенный ниже код будет направлять содержимое файла непосредственно в операцию SqlBulkCopy благодаря разумному использованию возвращаемых значений и ленивой загрузке IEnumerable.

using System;
using System.Collections.Generic;
using System.Data.SqlClient;
using System.IO;
using System.Text;
using FastMember;

namespace BulkCopyTest
{
    public class Program
    {
        public static void Main(string[] args)
        {
            const string filePath = "SOME FILE THAT YOU WANT TO LOAD TO A DB";

            WriteData(GetData<dynamic>(filePath));
        }

        private static void WriteData<T>(IEnumerable<T> data)
        {
            using (var bcp = new SqlBulkCopy(GetConnection(), SqlBulkCopyOptions.TableLock, null))
            using (var reader = ObjectReader.Create(data))
            {
                SetColumnMappings<T>(bcp.ColumnMappings);
                bcp.BulkCopyTimeout = 300;
                bcp.BatchSize = 150000;
                bcp.DestinationTableName = ""; //TODO: Set correct TableName
                bcp.WriteToServer(reader);
            }
        }

        private static void SetColumnMappings<T>(SqlBulkCopyColumnMappingCollection mappings)
        {
            //Setup your column mappings
        }


        private static IEnumerable<T> GetData<T>(string filePath)
        {
            using (var fileStream = File.OpenRead(filePath))
            using (var reader = new StreamReader(fileStream, Encoding.UTF8))
            {
                string line;
                while ((line = reader.ReadLine()) != null)
                {
                    //TODO: Add actual parsing logic and whatever else is needed to create an instance of T
                    yield return Activator.CreateInstance<T>();
                }
            }
        }

        private static SqlConnection GetConnection()
        {
            return new SqlConnection(new SqlConnectionStringBuilder
            {
                //TODO: Set Connection information here
            }.ConnectionString);
        }
    }
}

Answer 2

В этом случае я думаю, что вы должны воспользоваться преимуществами методов BeginLoadData, LoadDataRow и EndLoadData, предоставленных в классе DataTable, вы можете использовать их следующим образом:

try
{
    faresDT.BeginLoadData();

    // Your for loop...
    {
        // Logic defining the value of startStation, endStation, valueFare, standardFare and time removed for briefness.
        faresDT.LoadDataRow(new object[] {startStation, endStation, valueFare, standardFare, time}, true);
    }
}
finally
{
    faresDT.EndLoadData();
}

То, что делает BeginLoadData (), отключаетнекоторая обработка происходит каждый раз, когда вы добавляете строку, и выполняется только один раз, когда вы завершаете загрузку данных, вызывая EndLoadData ().

Подробнее об этих API можно узнать здесь: https://docs.microsoft.com/en-us/dotnet/api/system.data.datatable.loaddatarow?view=netframework-4.7.2