Как рассчитать частоту всех слов в текстовом документе?

Question

class CounterDict<TKey>
{
    public Dictionary<TKey, int> _dict = new Dictionary<TKey, int>();

    public void Add(TKey key)
    {
        if(_dict.ContainsKey(key))
            _dict[key]++;
        else
        {
            _dict.Add(key, 1);
        }
    }
}

class Program
{
    static void Main(string[] args)
    {
        string line =  "The woods decay the woods decay and fall.";

        CounterDict<string> freq = new CounterDict<string>();
        foreach (string item in line.Split())
        {
            freq.Add(item.Trim().ToLower());
        }

        foreach (string key in freq._dict.Keys)
        {
            Console.WriteLine("{0}:{1}",key,freq._dict[key]);
        }           
    }
}

Я хочу вычислить количество вхождений всех слов в строке.
Я думаю, что приведенный выше код будет медленным в этой задаче из-за (посмотрите на функцию Add):

    if(_dict.ContainsKey(key))
    _dict[key]++;
    else
    {
        _dict.Add(key, 1);
    }

Кроме того, сохраняет ли _dict__ public хорошую практику? (Я не думаю, что это так.)

Как мне изменить это или полностью изменить, чтобы сделать работу?

Answer 1

Как насчет этого:

Dictionary<string, int> words = new Dictionary<string, int>();
string input = "The woods decay the woods decay and fall.";
foreach (Match word in Regex.Matches(input, @"\w+", RegexOptions.ECMAScript))
{
    if (!words.ContainsKey(word.Value))
    {
        words.Add(word.Value, 1);
    }
    else
    {
        words[word.Value]++;
    }
}

Основным моментом была замена .Split на регулярное выражение, поэтому вам не нужно хранить большой массив строк в памяти и вы можете работать с одним элементом за раз.

Answer 2

Из документации MSDN:

    // When a program often has to try keys that turn out not to
    // be in the dictionary, TryGetValue can be a more efficient 
    // way to retrieve values.
    string value = "";
    if (openWith.TryGetValue("tif", out value))
    {
        Console.WriteLine("For key = \"tif\", value = {0}.", value);
    }
    else
    {
        Console.WriteLine("Key = \"tif\" is not found.");
    }

Сам не проверял, но это может улучшить вашу эффективность.

Answer 3

Здесь - несколько способов подсчета вхождений строк.