Нейронная сеть - это ленивый или энергичный метод обучения? - PullRequest
2 голосов
/ 22 апреля 2011

Нейронная сеть - это ленивый или энергичный метод обучения?Разные веб-страницы говорят разные вещи, поэтому я хочу получить твердый ответ с хорошей литературой, чтобы поддержать это.Самая очевидная книга, которую стоит посмотреть, - это известная книга Митчелла по машинному обучению, но просматривая все это, я не вижу ответа.Спасибо:).

Ответы [ 2 ]

7 голосов
/ 22 апреля 2011

Глядя на определение терминов ленивый и жаждущий обучения и зная, как работает нейронная сеть, я считаю, что ясно, что это нетерпеливый . Обученная сеть является функцией обобщения, все веса и пути, используемые для получения классификации, полностью определяются данными обучения, но сами данные обучения не сохраняются для целей принятия решения.

Важным отличием является то, что система Lazy хранит свои обучающие данные и использует их непосредственно для определения решения. Готовая система определяет функцию из данных training , и после этого данные обучения больше не требуются. Иными словами, вы не можете определить, какие данные обучения были получены из функции активной системы. Нейронная сеть, безусловно, соответствует этому описанию. Таким образом, активная система может быть очень эффективной при хранении, но, наоборот, она не является детерминированной, в том смысле, что невозможно определить, как или почему она получила конкретное решение, поэтому проблемы с плохими или неподходящими данными обучения могут быть трудными для решения.

В готовой статье, приведенной выше, даже приводится пример искусственных нейронных сетей. Вы, конечно, могли бы предпочесть цитируемый текст Википедии, но страница с этим утверждением существует с 2007 года без противоречивых правок, поэтому я бы сказал, что это было довольно надежно.

2 голосов
/ 19 декабря 2011

Некоторые нейронные сети стремятся к обучению, а некоторые ленивы.Нейронные сети с прямой связью (которые обычно обучаются по некоторому варианту обратного распространения) стремятся: они пытаются получить представление об основных отношениях в данных во время обучения.Сети радиальных базисных функций (такие как вероятностный NN или обобщенный регрессионный NN), с другой стороны, являются ленивыми учениками (очень похожими на k-ближайших соседей, классических ленивых учеников).

...