Используется ли Gradient Descent во время обучения без присмотра?

Question

Используется ли когда-либо алгоритм градиентного спуска во время обучения любой неконтролируемой тренировке, такой как кластеризация, совместная фильтрация и т. Д. c ..?

Answer 1

Градиентный спуск может быть использован для целого ряда неконтролируемых учебных задач. Фактически, нейронные сети, которые используют алгоритм градиентного спуска, широко используются для неконтролируемых задач обучения, таких как представления текста или естественного языка в векторном пространстве (word2ve c).

Вы также можете думать об уменьшении размерности такие методы, как автоэнкодеры, которые также используют Gradient Descent.

Я не знаю, как GD напрямую используется в кластеризации, но эта ссылка обсуждает подход, который использует автоэнкодеры с Kmeans, которые используют GD .

Читайте эту ссылку , которая обсуждает аналогичный вопрос.

Answer 2

В неконтролируемых алгоритмах вам не нужно этого делать. Например, в k-Means, где вы пытаетесь минимизировать среднеквадратическую ошибку (MSE), вы можете минимизировать ошибку непосредственно на каждом шаге с учетом назначений; градиенты не нужны.