Ограниченная машина Больцмана - реконструкция - PullRequest
4 голосов
/ 05 ноября 2010

Я прочитал несколько статей об ограниченных машинах Больцмана.Эти машины были проверены на их возможности восстановления.Я понимаю, как работает тренировка, но не то, как это делается.Кто-нибудь может дать мне несколько советов?

Ответы [ 4 ]

1 голос
/ 31 июля 2018

Ограниченные машины Больцмана - это генеративные модели, которые могут генерировать выборки для заданных скрытых единиц.

Для реконструкции, во-первых, входные данные ограничиваются видимыми единицами, а скрытые состояния рассчитываются с использованием веса модели. На втором этапе видимые единицы вычисляются с использованием недавно вычисленных скрытых состояний. Видимые состояния, которые вы получаете на втором этапе, представляют собой реконструированный образец.

Сравнение входных данных и восстановленной выборки (поэлементное сравнение и т. Д.) Дает ошибку восстановления.

1 голос
/ 09 сентября 2012

Я думаю, что вы имеете в виду RBM, используемую в контексте автоэнкодера для вызова входов, а не как ассоциативную сеть памяти.

На этапе обучения блоки ввода и узлы вывода (блоки) привязываются кзначения, найденные в обучающем наборе, после чего повторная выборка Больцмана (например, с помощью комбинации Метрополиса Гастингса и имитированного отжига) используется в сочетании с градиентным спуском для оптимизации весов по всем соединениям между входными, скрытыми и выходными узлами.После обучения ограниченную сеть Больцмана можно использовать для 1) классификации / прогнозирования или 2) генерации памяти в режиме свободного хода.

В режиме классификации / прогнозирования некоторые или все входные блоки блокируются, покаскрытые и выходные узлы отбираются с помощью выборки Больцмана.Статистические свойства (по существу, средства) выходных узлов являются предсказаниями или классификациями.Если RBM структурирован как однослойный автоэнкодер с входным слоем, который напоминает выходной слой, и разреженным или меньшим скрытым слоем, то ограниченное количество входов, приводящее к полному восстановлению обучающего ввода, будет представлять собой «реконструкцию».

В научной статье Хинтона за 2006 год обсуждаются некоторые из этих идей:

http://www.cs.toronto.edu/~hinton/science.pdf

Эта статья представляет собой довольно специфическое применение RBM и нейронных сетей.В этой статье он использует RBM для предварительной подготовки глубокой (многоуровневой) нейронной сети.

1 голос
/ 05 ноября 2010

Доклад Джеффа Хинтона:

http://www.youtube.com/watch?v=AyzOUbkUf3M

0 голосов
/ 20 марта 2013

В алгоритме Хинтона они используют RBM для предварительной тренировки , так что начальные веса близки к хорошему решению, обеспечивающему сходимость градиентного спуска.

На следующем шаге начальная сеть (скажем, [1000 500 100 2]) будет развернута , чтобы получить сеть с автоматическим кодированием ([1000 500 100 2 100 500 1000]). Части кодера ([1000 500 100 2]) и декодера ([2 100 500 1000]) первоначально используют одинаковые веса.

Последний этап - точная настройка . Он использует обратное распространение через весь автокодер ([1000 500 100 2 100 500 1000]) для точной настройки весов (путем минимизации ошибки, которая является разницей между входом и его восстановлением) для оптимальной реконструкции. Выход автокодера является реконструкцией входа.

...