Быстрый поиск в большом текстовом файле

Question

Я пытаюсь написать программу поиска в C#, которая будет искать строку в большом текстовом файле (5 ГБ). Я сделал простой код, показанный ниже, но результаты поиска занимают много времени и могут занять около 30 минут. Вот так выглядит мой код:

public List<string> Search(string searchKey)
{
    List<string> results = new List<string>();
    StreamReader fileReader = new StreamReader("D:\Logs.txt");
    while ((line = fileReader.ReadLine()) != null)
    {
        if (line.Contains(searchKey)
        {
            results.Add(line);
        }
    }
}

Хотя код работает, он работает очень медленно и занимает около 30 минут. Можем ли мы что-то сделать, чтобы время поиска было меньше минуты?

Answer 1

Для поиска строк в действительно большом файле вы можете использовать алгоритм поиска Бойера-Мура, который является стандартным эталоном для практической литературы по поиску строк. Ниже приведены ссылки для его реализации:

• Практический метод Бойера-Мура C#?
• Алгоритм Бойера-Мура для поиска по шаблону