Веса в нейронной сети - PullRequest
Новая
       2

Веса в нейронной сети

1 голос
/ 06 мая 2020

Я читаю: https://towardsdatascience.com/how-to-build-your-own-neural-network-from-scratch-in-python-68998a08e4f6

Я видел следующий код: 

import numpy as np

def sigmoid(x):
    return 1.0/(1+ np.exp(-x))

def sigmoid_derivative(x):
    return x * (1.0 - x)

class NeuralNetwork:
    def __init__(self, x, y):
        self.input      = x
        self.weights1   = np.random.rand(self.input.shape[1],4) 
        self.weights2   = np.random.rand(4,1)                 
        self.y          = y
        self.output     = np.zeros(self.y.shape)

    def feedforward(self):
        self.layer1 = sigmoid(np.dot(self.input, self.weights1))
        self.output = sigmoid(np.dot(self.layer1, self.weights2))

    def backprop(self):
        # application of the chain rule to find derivative of the loss function with respect to weights2 and weights1
        d_weights2 = np.dot(self.layer1.T, (2*(self.y - self.output) * sigmoid_derivative(self.output)))
        d_weights1 = np.dot(self.input.T,  (np.dot(2*(self.y - self.output) * sigmoid_derivative(self.output), self.weights2.T) * sigmoid_derivative(self.layer1)))

        # update the weights with the derivative (slope) of the loss function
        self.weights1 += d_weights1
        self.weights2 += d_weights2


if __name__ == "__main__":
    X = np.array([[0,0,1],
                  [0,1,1],
                  [1,0,1],
                  [1,1,1]])
    y = np.array([[0],[1],[1],[0]])
    nn = NeuralNetwork(X,y)

    for i in range(1500):
        nn.feedforward()
        nn.backprop()

    print(nn.output)

Разве веса не должны быть случайной матрицей 4x4, потому что у нас есть 4 нейронов в скрытых слоях и 4 входных значения, поэтому общее количество весов должно быть 16, но следующий код назначает матрицу 2x4 в функции init и создает точечный продукт?

1 Ответ

3 голосов
/ 07 мая 2020

Ваша входная матрица X предполагает, что количество выборок равно 4, а количество функций - 3. Количество нейронов во входном слое нейронной сети равно количеству функций *, а не количеству выборок. Например, представьте, что у вас 4 машины и для каждой из них вы выбрали по 3 характеристики: цвет, количество мест и страну происхождения. Для каждого образца автомобиля вы вводите эти 3 функции в сеть и обучаете свою модель. Даже если у вас 4000 выборок, количество входных нейронов не изменится; это 3.

Итак, self.weights1 имеет форму (3, 4), где 3 - количество функций, а 4 - количество скрытых нейронов (эти 4 не имеют ничего общего с количеством выборок), как и ожидалось.

*: Иногда входные данные увеличиваются на 1 (или -1) для учета смещения, поэтому количество входных нейронов в этом случае будет num_features + 1; но это выбор, бороться с предвзятостью отдельно или нет.

...