Использование обратного распространения для обновления веса в комбинации 2 нейронных сетей

Question

Каждая нейронная сеть обновляет свой вес посредством обратного распространения. Предположим, что модель нейронной сети накладывается поверх другой модели нейронной сети, как обратное распространение используется для обновления весов в такой архитектуре. Какая разница в обновлении весов наблюдается в модели одиночной нейронной сети?

Answer 1

CNN, GAN или любая другая топология нейронной сети по-прежнему состоит из базовых блоков, уровней сети. «CNN» относится к одному широкому классу топологий; «GNN» - еще один широкий класс.

Обратное распространение работает так же, как обычно: изменения веса каждого слоя распространяются на предыдущий слой, деленные на градиент для этого веса. Это операция между слоями, которые находятся рядом (напрямую связаны) в топологии. Независимо от того, находятся ли оба слоя внутри подграфа, мы сгруппированы как «CNN», или они являются смежными слоями в двух разных подграфах, это не имеет значения - это простое обновление между слоями.