Почему существует необходимость в количестве итераций в самоорганизующейся карте?

Question

:)

Пока я защищал свое предложение по диссертации, один из моих профессоров спросил меня, почему мы должны указывать количество итераций в СДЛ? Он сказал, что должен был быть критерий конвергенции, чтобы мы прекратили тренировки.

Однако я понимаю, что у нас нет целевого вектора, и поэтому мы не можем минимизировать стоимость.

Мой вопрос: во-первых, зачем нужны MAX_ITERATIONS, а во-вторых, что гарантирует нам, что количество выбранных нами итераций даст оптимальную карту. (

P.S. Основываясь на своем опыте, я попытался использовать 1000 итераций и 10000 итераций в наборе цветовых данных. Кажется, что 10000 итераций не дают лучшей визуализации, чем 1000.: (

Answer 1

Итак, и вы, и ваш профессор правы: вы должны указать жесткое ограничение на число итераций и критерий сходимости.

критерий сходимости - Хотя ваше право в этом СДЛ не контролируется и, следовательно, не имеет целевых векторов, они все равно могут рассматриваться как минимизирующие некоторую функцию стоимости. В общем, большинство неконтролируемых методов машинного обучения могут попытаться сделать что-то вроде минимизации неучтенной дисперсии, максимизации получения информации и т. Д. В частности, для SOM я использовал весовые дельты в качестве критерия. То есть, когда дополнительная итерация не изменяет веса SOM более чем на некоторый порог, прекратите итерацию.

Ограничение итерации - Даже при наличии критерия сходимости, жесткий предел необходим, если SOM не сходится (вы не хотите, чтобы он работал вечно). Если бы вы использовали мой пример критерия весовых дельт, то мог бы быть случай, когда веса продолжали колебаться между итерациями, что приводило к тому, что критерий никогда не выполнялся.

СЧАСТЬЕ!

Answer 2

У вас неявно есть функция целевых затрат, которую нужно минимизировать в СДЛ.SOM сродни многомерному масштабированию (MDS).Цель состоит в том, чтобы поддерживать топологические отношения;следовательно, каждая итерация SOM фактически сводит к минимуму ошибку между «расстоянием любых двух точек в исходном пространстве» и «расстоянием тех же двух точек в целевом пространстве», за исключением того, что в SOM эти сходные точки представлены с использованием нейрона вцелевое пространство.Это также то, как SOM можно использовать для кластеризации.

Процесс итерации можно рассматривать как градиентный спуск.При минимизации функции стоимости квадратичной ошибки она также может быть захвачена локальным минимумом.Это также может объяснить, почему SOM может привести к «перегибам» даже после большого количества итераций.