Нейронная сеть в MATLAB

Question

Я обучил нейронную сеть xor в Matlab и получил следующие веса:

iw: [-2.162 2.1706; 2.1565 -2.1688]

lw: [-3.9174 -3.9183]

b{1} [2.001; 2.0033]

b{2} [3.8093]

Просто из любопытства я попытался написать код MATLAB, который вычисляет выход этой сети (2 нейрона в скрытом слое и 1 в выходе, функция активации TANSIG).

Код, который я получил:

l1w = [-2.162 2.1706; 2.1565 -2.1688];
l2w = [-3.9174 -3.9183];
b1w = [2.001 2.0033];
b2w = [3.8093];

input = [1, 0];

out1 = tansig (input(1)*l1w(1,1) + input(2)*l1w(1,2) + b1w(1));
out2 = tansig (input(1)*l1w(2,1) + input(2)*l1w(2,2) + b1w(2));
out3 = tansig (out1*l2w(1) + out2*l2w(2) + b2w(1))

Проблема в том, что когда ввод, скажем, [1,1], выводит -0,9999 , когда [0,1] 0,4902 . При моделировании сети, сгенерированной с помощью выходов MATLAB, достаточно 0.00055875 и 0.99943 .

Что я делаю не так?

Answer 1

Я написал простой пример сети XOR. Я использовал newpr, по умолчанию tansig передаточная функция для скрытого и выходного слоев.

input = [0 0 1 1; 0 1 0 1];               %# each column is an input vector
ouputActual = [0 1 1 0];

net = newpr(input, ouputActual, 2);       %# 1 hidden layer with 2 neurons
net.divideFcn = '';                       %# use the entire input for training

net = init(net);                          %# initialize net
net = train(net, input, ouputActual);     %# train
outputPredicted = sim(net, input);        %# predict

затем мы проверяем результат, вычисляя результат самостоятельно. Важно помнить, что по умолчанию входы / выходы масштабируются до диапазона [-1,1]:

scaledIn = (2*input - 1);           %# from [0,1] to [-1,1]
for i=1:size(input,2)
    in = scaledIn(:,i);             %# i-th input vector
    hidden(1) = tansig( net.IW{1}(1,1)*in(1) + net.IW{1}(1,2)*in(2) + net.b{1}(1) );
    hidden(2) = tansig( net.IW{1}(2,1)*in(1) + net.IW{1}(2,2)*in(2) + net.b{1}(2) );
    out(i) = tansig( hidden(1)*net.LW{2,1}(1) + hidden(2)*net.LW{2,1}(2) + net.b{2} );
end
scaledOut = (out+1)/2;              %# from [-1,1] to [0,1]

или более эффективно выражается в виде матричного произведения в одной строке:

scaledIn = (2*input - 1);           %# from [0,1] to [-1,1]
out = tansig( net.LW{2,1} * tansig( net.IW{1}*scaledIn + repmat(net.b{1},1,size(input,2)) ) + repmat(net.b{2},1,size(input,2)) );
scaledOut = (1 + out)/2;            %# from [-1,1] to [0,1]

Answer 2

Вы обычно не используете сигмоид на своем выходном слое - вы уверены, что у вас должен быть tansig на out3? И вы уверены, что смотрите на вес надлежащим образом обученной сети? Похоже, у вас есть сеть, обученная выполнять XOR в [1,1] [1, -1] [-1,1] и [-1, -1], где +1 означает «xor» и -1 что означает "то же самое".