Подсчет количества отдельных строк из текстового файла c #

Question

У меня есть текстовый документ, который содержит более 14000 различных строк, многие из которых являются дубликатами, возможно ли подсчитать количество уникальных записей?

Answer 1

Вы можете использовать метод File.ReadLines и LINQ Distinct и Count Методы расширения :

var result = File.ReadLines("input.txt").Distinct().Count();

Answer 2

Это просто "One-Liner", вот так:

var lines = File.ReadAllLines("FileToRead.txt").Distinct().Count();

Edit: Но будьте осторожны с такими решениями. С файлами размером более 600 МБ могут возникнуть проблемы.

Answer 3

Итерация по файлу, сохранение того, что вы найдете в коллекции, игнорирование уже проанализированных записей и, в конце, просто проверка размера коллекции.