Чтение файлов CSV с использованием C #

Question

Я пишу простое приложение для импорта, и мне нужно прочитать файл CSV, показать результат в DataGrid и показать поврежденные строки файла CSV в другой сетке.Например, покажите линии, которые короче, чем 5 значений в другой сетке.Я пытаюсь сделать это так:

StreamReader sr = new StreamReader(FilePath);
importingData = new Account();
string line;
string[] row = new string [5];
while ((line = sr.ReadLine()) != null)
{
    row = line.Split(',');

    importingData.Add(new Transaction
    {
        Date = DateTime.Parse(row[0]),
        Reference = row[1],
        Description = row[2],
        Amount = decimal.Parse(row[3]),
        Category = (Category)Enum.Parse(typeof(Category), row[4])
    });
}

, но в этом случае очень сложно работать с массивами.Есть ли лучший способ разделить значения?

Answer 1

Не изобретай велосипед. Воспользуйтесь преимуществами того, что уже есть в .NET BCL.

• добавить ссылку на Microsoft.VisualBasic (да, там написано VisualBasic, но оно работает и в C # - помните, что в конце это всего лишь IL)
• использовать класс Microsoft.VisualBasic.FileIO.TextFieldParser для анализа файла CSV

Вот пример кода:

using (TextFieldParser parser = new TextFieldParser(@"c:\temp\test.csv"))
{
    parser.TextFieldType = FieldType.Delimited;
    parser.SetDelimiters(",");
    while (!parser.EndOfData) 
    {
        //Processing row
        string[] fields = parser.ReadFields();
        foreach (string field in fields) 
        {
            //TODO: Process field
        }
    }
}

Это прекрасно работает для меня в моих проектах на C #.

Вот еще несколько ссылок / информации:

• MSDN: чтение из текстовых файлов с разделителями-запятыми в Visual Basic
• MSDN: класс TextFieldParser

Answer 2

Мой опыт показывает, что существует множество различных форматов CSV. Особенно, как они обрабатывают экранирование кавычек и разделителей внутри поля.

Вот варианты, с которыми я столкнулся:

• кавычки заключаются в кавычки и удваиваются (Excel), то есть 15 "-> field1," 15 "" ", field3
• кавычки не изменяются, если поле не указано по какой-либо другой причине. то есть 15 "-> field1,15", fields3
• кавычки экранируются с помощью \. то есть 15 "-> поле1," 15 \ "", поле3
• кавычки вообще не изменяются (это не всегда возможно правильно проанализировать)
• разделитель указан (Excel). то есть a, b -> field1, "a, b", field3
• разделитель экранируется с \. то есть a, b -> field1, a \, b, field3

Я перепробовал многие из существующих парсеров csv, но нет ни одного, который мог бы обработать варианты, с которыми я столкнулся. Также трудно найти из документации, какие экранирующие варианты поддерживаются парсерами.

В моих проектах я теперь использую либо VB TextFieldParser, либо пользовательский сплиттер.

Answer 3

Я рекомендую CsvHelper от Nuget .

(Добавлять ссылку на Microsoft.VisualBasic просто нехорошо, это не только некрасиво, но, вероятно, даже не кроссплатформенно.)

Answer 4

Иногда использование библиотек - это здорово, когда вы не хотите изобретать велосипед, но в этом случае можно выполнить ту же работу с меньшим количеством строк кода и легче читать по сравнению с использованием библиотек.Вот другой подход, который я считаю очень простым в использовании.

1. В этом примере я использую StreamReader для чтения файла
2. Regex для определения разделителя в каждой строке (строках).
3. Массив для сбора столбцов с индексом от 0 до n

---

using (StreamReader reader = new StreamReader(fileName))
    {
        string line; 

        while ((line = reader.ReadLine()) != null)
        {
            //Define pattern
            Regex CSVParser = new Regex(",(?=(?:[^\"]*\"[^\"]*\")*(?![^\"]*\"))");

            //Separating columns to array
            string[] X = CSVParser.Split(line);

            /* Do something with X */
        }
    }

Answer 5

CSV может усложниться реально быстро.Используйте что-то надежное и проверенное:FileHelpers: www.filehelpers.net

FileHelpers - бесплатная и простая в использовании библиотека .NET для импорта / экспорта данных фиксированной длины или записей с разделителями в файлах, строках илипотоки.

Answer 6

Еще один в этом списке, Cinchoo ETL - библиотека с открытым исходным кодом для чтения и записи файлов CSV

Для примера файла CSV ниже

Id, Name
1, Tom
2, Mark

Быстро вы можете загрузить их, используя библиотеку, как показано ниже

using (var reader = new ChoCSVReader("test.csv").WithFirstLineHeader())
{
   foreach (dynamic item in reader)
   {
      Console.WriteLine(item.Id);
      Console.WriteLine(item.Name);
   }
}

Если класс POCO соответствует CSV-файлу

public class Employee
{
   public int Id { get; set; }
   public string Name { get; set; }
}

Вы можете использовать его для загрузки файла CSV, как показано ниже

using (var reader = new ChoCSVReader<Employee>("test.csv").WithFirstLineHeader())
{
   foreach (var item in reader)
   {
      Console.WriteLine(item.Id);
      Console.WriteLine(item.Name);
   }
}

Пожалуйста, ознакомьтесь со статьями CodeProject о том, как его использовать.

Отказ от ответственности: я автор этой библиотеки

Answer 7

Я использую это здесь:

http://www.codeproject.com/KB/database/GenericParser.aspx

В прошлый раз, когда я искал что-то подобное, я нашел это как ответ на этот вопрос .

Answer 8

private static DataTable ConvertCSVtoDataTable(string strFilePath)
        {
            DataTable dt = new DataTable();
            using (StreamReader sr = new StreamReader(strFilePath))
            {
                string[] headers = sr.ReadLine().Split(',');
                foreach (string header in headers)
                {
                    dt.Columns.Add(header);
                }
                while (!sr.EndOfStream)
                {
                    string[] rows = sr.ReadLine().Split(',');
                    DataRow dr = dt.NewRow();
                    for (int i = 0; i < headers.Length; i++)
                    {
                        dr[i] = rows[i];
                    }
                    dt.Rows.Add(dr);
                }

            }

            return dt;
        }

        private static void WriteToDb(DataTable dt)
        {
            string connectionString =
                "Data Source=localhost;" +
                "Initial Catalog=Northwind;" +
                "Integrated Security=SSPI;";

            using (SqlConnection con = new SqlConnection(connectionString))
                {
                    using (SqlCommand cmd = new SqlCommand("spInsertTest", con))
                    {
                        cmd.CommandType = CommandType.StoredProcedure;

                        cmd.Parameters.Add("@policyID", SqlDbType.Int).Value = 12;
                        cmd.Parameters.Add("@statecode", SqlDbType.VarChar).Value = "blagh2";
                        cmd.Parameters.Add("@county", SqlDbType.VarChar).Value = "blagh3";

                        con.Open();
                        cmd.ExecuteNonQuery();
                    }
                }

         }

Answer 9

Прежде всего необходимо понять, что такое CSV и как его написать.

1. Каждая следующая строка (/r/n) является следующей строкой таблицы.
2. Ячейки «таблицы» разделены символом-разделителем. Чаще всего используются символы \t или ,
3. Возможно, каждая ячейка может содержать этот символ-разделитель (в этом случае ячейка должна начинаться с символа кавычек и заканчивается этим символом)
4. Возможно, каждая ячейка может содержать /r/n символов (в этом случае ячейка должна начинаться с символа кавычек и заканчивается этим символом)

Самый простой способ для C # / Visual Basic работать с файлами CSV - это использовать стандартную библиотеку Microsoft.VisualBasic. Вам просто нужно добавить необходимую ссылку и следующую строку в ваш класс:

using Microsoft.VisualBasic.FileIO;

Да, вы можете использовать его в C #, не волнуйтесь. Эта библиотека может читать относительно большие файлы и поддерживает все необходимые правила, поэтому вы сможете работать со всеми файлами CSV.

Некоторое время назад я написал простой класс для чтения / записи CSV на основе этой библиотеки. Используя этот простой класс, вы сможете работать с CSV, как с 2-х мерным массивом. Вы можете найти мой класс по следующей ссылке: https://github.com/ukushu/DataExporter

Простой пример использования:

Csv csv = new Csv("\t");//delimiter symbol

csv.FileOpen("c:\\file1.csv");

var row1Cell6Value = csv.Rows[0][5];

csv.AddRow("asdf","asdffffff","5")

csv.FileSave("c:\\file2.csv");

Answer 10

Чтобы завершить предыдущие ответы, может понадобиться набор объектов из его CSV-файла, либо проанализированный с помощью метода TextFieldParser или string.Split, а затем каждая строка преобразуется в объект с помощью Reflection. Очевидно, сначала нужно определить класс, который соответствует строкам файла CSV.

Я использовал простой сериализатор CSV от Майкла Кропата, найденный здесь: Общий класс для CSV (все свойства) и снова использовал свои методы для получения полей и свойств желаемого класса.

Я десериализовал свой CSV-файл следующим способом:

public static IEnumerable<T> ReadCsvFileTextFieldParser<T>(string fileFullPath, string delimiter = ";") where T : new()
{
    if (!File.Exists(fileFullPath))
    {
        return null;
    }

    var list = new List<T>();
    var csvFields = GetAllFieldOfClass<T>();
    var fieldDict = new Dictionary<int, MemberInfo>();

    using (TextFieldParser parser = new TextFieldParser(fileFullPath))
    {
        parser.SetDelimiters(delimiter);

        bool headerParsed = false;

        while (!parser.EndOfData)
        {
            //Processing row
            string[] rowFields = parser.ReadFields();
            if (!headerParsed)
            {
                for (int i = 0; i < rowFields.Length; i++)
                {
                    // First row shall be the header!
                    var csvField = csvFields.Where(f => f.Name == rowFields[i]).FirstOrDefault();
                    if (csvField != null)
                    {
                        fieldDict.Add(i, csvField);
                    }
                }
                headerParsed = true;
            }
            else
            {
                T newObj = new T();
                for (int i = 0; i < rowFields.Length; i++)
                {
                    var csvFied = fieldDict[i];
                    var record = rowFields[i];

                    if (csvFied is FieldInfo)
                    {
                        ((FieldInfo)csvFied).SetValue(newObj, record);
                    }
                    else if (csvFied is PropertyInfo)
                    {
                        var pi = (PropertyInfo)csvFied;
                        pi.SetValue(newObj, Convert.ChangeType(record, pi.PropertyType), null);
                    }
                    else
                    {
                        throw new Exception("Unhandled case.");
                    }
                }
                if (newObj != null)
                {
                    list.Add(newObj);
                }
            }
        }
    }
    return list;
}

public static IEnumerable<MemberInfo> GetAllFieldOfClass<T>()
{
    return
        from mi in typeof(T).GetMembers(BindingFlags.Public | BindingFlags.Instance | BindingFlags.Static)
        where new[] { MemberTypes.Field, MemberTypes.Property }.Contains(mi.MemberType)
        let orderAttr = (ColumnOrderAttribute)Attribute.GetCustomAttribute(mi, typeof(ColumnOrderAttribute))
        orderby orderAttr == null ? int.MaxValue : orderAttr.Order, mi.Name
        select mi;            
}