интуиция размерности матрицы весов в нейронной сети

Question

Я прошел курс по нейронным сетям в Coursera и наткнулся на эту модель:

Я понимаю, что значения z1, z2и так далее - значения из линейной регрессии, которые будут помещены в функцию активации.У меня проблема в том, что когда автор говорит, что должна быть одна матрица весов и вектор входных данных, например:

IЗнайте, что вектор Xs имеет размерность 3 x 1, потому что есть три входа, но почему массив Ws имеет размеры 4 x 3 ?.Я могу сделать вывод, что в нем четыре строки, потому что это веса w1, w2, w3 и w4, которые соответствуют каждому из значений a1 ... a4, но что находится внутри этого массива?Его элементы выглядят примерно так:

w1T w1T w1T
w2T w2T w3T
... ?

, поэтому, например, при умножении на x1 я получу:

w1Tx1+w1Tx2+w1Tx3=w1T(x1+x2+x3)=w1TX

Я думаю об этом, но не могу получитьпонять, что содержит этот массив, хотя я знаю, что в конце у меня будет вектор 4 x 1, который соответствует значениям z.Любая помощь?

Спасибо

Answer 1

Если x равно 3x1, то весовая матрица размером Nx3 даст вам скрытый слой с N единицами.В вашем случае N = 4 (см. Схему сети).Это следует из того факта, что умножение матрицы Nx3 на вектор 3x1 дает выходной вектор Nx1, следовательно, N скрытые единицы.

Каждая строка матрицы весов определяет весадля одной скрытой единицы, так что скалярное произведение w_1 и x (плюс смещение) дает z_1:

В конце записи все величины каквекторы и матрицы просто позволяют использовать краткие обозначения линейной алгебры:

, где мы предполагаем, что активация применяется поэлементно.