Не в состоянии понять алгоритм ID3 - PullRequest
2 голосов
/ 23 июля 2011

В Википедии действительно есть определение ID3 алгоритм , но он очень сложный.Есть ли какая-нибудь ссылка, которая объясняет концепцию простым для понимания способом.

В Википедии много сложных теорий и формул.Я понял, что такое энтропия.Но я не понял, что такое Gain.Ваше основное объяснение или ваши ссылки на хорошие ссылки определенно помогут мне.

1 Ответ

6 голосов
/ 23 июля 2011

Я думаю, что вики-страница в основном прибегает к этому понятию, хотя несколько примеров были бы полезны.Вы можете проверить страницу U Флорида и страницы ICL по этой теме.И когда речь заходит о таких темах (машинное обучение и интеллектуальный анализ данных), вы всегда должны рассматривать материалы для чтения Эндрю Мура @ CMU , которые я считаю очень полезными.

Но также здесьмои два цента:

Энтропия обозначает ожидаемое значение информации (неопределенности), содержащейся в сообщении.Поскольку мы рассматриваем здесь деревья решений, усиление - это разница в энтропии, когда мы разделяем атрибут (т.е. разница между исходной энтропией и средним весом энтропии разных ветвей).Поскольку это сокращенная неопределенность, это просто информация, которую мы получили в результате разделения на этот атрибут.

Кроме того, мы использовали Data Mining: подход на основе учебника в качестве текста, когда мы проводили курс интеллектуального анализа данных, и этохорошая и простая книга.

...