Как открыть большой текстовый файл в C #

Question

У меня есть текстовый файл, который содержит около 100000 статей. Структура файла:

.Document ID 42944-YEAR:5
.Date  03\08\11
.Cat  political
Article Content 1

.Document ID 42945-YEAR:5
.Date  03\08\11
.Cat  political
Article Content 2

Я хочу открыть этот файл в c # для обработки его построчно. Я попробовал этот код:

String[] FileLines = File.ReadAllText(
                  TB_SourceFile.Text).Split(Environment.NewLine.ToCharArray()); 

Но там написано:

Исключение типа 'System.OutOfMemoryException' было выброшены.

Вопрос в том, как открыть этот файл и прочитать его построчно.

• Размер файла: 564 МБ (591 886 626 байт)
• Кодировка файла: UTF-8
• Файл содержит символы Юникода.

Answer 1

Ваш файл слишком велик, чтобы его можно было прочитать в память за один раз, как пытается сделать File.ReadAllText. Вместо этого вы должны читать файл построчно.

Адаптировано с MSDN :

string line;
// Read the file and display it line by line.
using (StreamReader file = new StreamReader(@"c:\yourfile.txt"))
{
    while ((line = file.ReadLine()) != null)
    {    
        Console.WriteLine(line);
        // do your processing on each line here
    }
}

Таким образом, в памяти одновременно может находиться не более одной строки файла.

Answer 2

Вы можете открыть файл и прочитать его как поток вместо загрузки всего в память сразу.

Из MSDN:

using System;
using System.IO;

class Test 
{
    public static void Main() 
    {
        try 
        {
            // Create an instance of StreamReader to read from a file.
            // The using statement also closes the StreamReader.
            using (StreamReader sr = new StreamReader("TestFile.txt")) 
            {
                String line;
                // Read and display lines from the file until the end of 
                // the file is reached.
                while ((line = sr.ReadLine()) != null) 
                {
                    Console.WriteLine(line);
                }
            }
        }
        catch (Exception e) 
        {
            // Let the user know what went wrong.
            Console.WriteLine("The file could not be read:");
            Console.WriteLine(e.Message);
        }
    }
}

Answer 3

Если вы используете .NET Framework 4, в System.IO.File появился новый статический метод с именем ReadLines, который возвращает IEnumerable из строки. Я полагаю, что это было добавлено к структуре для этого точного сценария; однако, я еще не использовал это сам.

Документация MSDN - метод File.ReadLines (строка)

Вопрос по переполнению стека - ошибка в методе File.ReadLines (..) .net framework 4.0

Answer 4

Примерно так:

using (var fileStream = File.OpenText(@"path to file"))
{
    do
    {
        var fileLine = fileStream.ReadLine();
        // process fileLine here

    } while (!fileStream.EndOfStream);
}