Невозможно решить проблему XOR только с двумя скрытыми нейронами в Python

Question

У меня есть небольшая трехслойная нейронная сеть с двумя входными нейронами, двумя скрытыми нейронами и одним выходным нейроном. Я пытаюсь придерживаться приведенного ниже формата использования только 2 скрытых нейронов.

Я пытаюсь показать, как это можно использовать, чтобы вести себя как логический элемент XOR, однако только с двумя скрытыми нейронами я получаю следующий плохой результат после 1 000 000 итераций!

Input: 0 0   Output:  [0.01039096]
Input: 1 0   Output:  [0.93708829]
Input: 0 1   Output:  [0.93599738]
Input: 1 1   Output:  [0.51917667]

Если я использую три скрытых нейрона, я получаю намного лучший результат с 100 000 итераций:

Input: 0 0   Output:  [0.01831612]
Input: 1 0   Output:  [0.98558057]
Input: 0 1   Output:  [0.98567602]
Input: 1 1   Output:  [0.02007876]

Я получаю приличный вывод с 3 нейронами в скрытом слое, но не с двумя нейронами в скрытом слое. Почему?

Согласно комментарию ниже, это репо содержит код высокого уровня для решения проблемы XOR с использованием двух скрытых нейронов.

Я не могу понять, что я делаю неправильно. Любые предложения приветствуются! Прикреплен мой код:

import numpy as np
import matplotlib
from matplotlib import pyplot as plt


# Sigmoid function
def sigmoid(x, deriv=False):
    if deriv:
        return x * (1 - x)
    return 1 / (1 + np.exp(-x))


alpha = [0.7]

# Input dataset
X = np.array([[0, 0],
              [0, 1],
              [1, 0],
              [1, 1]])

# Output dataset
y = np.array([[0, 1, 1, 0]]).T

# seed random numbers to make calculation deterministic
np.random.seed(1)

# initialise weights randomly with mean 0
syn0 = 2 * np.random.random((2, 3)) - 1  # 1st layer of weights synapse 0 connecting L0 to L1
syn1 = 2 * np.random.random((3, 1)) - 1  # 2nd layer of weights synapse 0 connecting L1 to L2

# Randomize inputs for stochastic gradient descent
data = np.hstack((X, y))    # append Input and output dataset
np.random.shuffle(data)     # shuffle
x, y = np.array_split(data, 2, 1)    # Split along vertical(1) axis

for iter in range(100000):
    for i in range(4):
        # forward prop
        layer0 = x[i]  # Input layer
        layer1 = sigmoid(np.dot(layer0, syn0))  # Prediction step for layer 1
        layer2 = sigmoid(np.dot(layer1, syn1))  # Prediction step for layer 2

        layer2_error = y[i] - layer2  # Compare how well layer2's guess was with input

        layer2_delta = layer2_error * sigmoid(layer2, deriv=True)  # Error weighted derivative step

        if iter % 10000 == 0:
            print("Error: ", str(np.mean(np.abs(layer2_error))))
            plt.plot(iter, layer2_error, 'ro')


        # Uses "confidence weighted error" from l2 to establish an error for l1
        layer1_error = layer2_delta.dot(syn1.T)

        layer1_delta = layer1_error * sigmoid(layer1, deriv=True)  # Error weighted derivative step

        # Since SGD we need to dot product two 1D arrays. This is how.
        syn1 += (alpha * np.dot(layer1[:, None], layer2_delta[None, :]))  # Update weights
        syn0 += (alpha * np.dot(layer0[:, None], layer1_delta[None, :]))

    # Training was done above, below we re run to test algorithm

    layer0 = X  # Input layer
    layer1 = sigmoid(np.dot(layer0, syn0))  # Prediction step for layer 1
    layer2 = sigmoid(np.dot(layer1, syn1))  # Prediction step for layer 2


plt.show()
print("output after training: \n")
print("Input: 0 0 \t Output: ", layer2[0])
print("Input: 1 0 \t Output: ", layer2[1])
print("Input: 0 1 \t Output: ", layer2[2])
print("Input: 1 1 \t Output: ", layer2[3])

Answer 1

Это связано с тем, что вы не учли bias для нейронов. Вы использовали только веса, чтобы попытаться соответствовать модели XOR.

Включение 2 нейронов в скрытом слое, сеть не подходит, так как не может компенсировать смещение.

Когда вы используете 3 нейрона в скрытом слое, дополнительный нейрон противодействует эффекту, вызванному отсутствием смещения.

Это пример сети для шлюза XOR. Вы заметите theta (смещение), добавленные к скрытым слоям. Это дает сети дополнительный параметр для настройки.

Дополнительные ресурсы

Answer 2

Это неразрешимая система уравнений, поэтому NN также не может ее решить. Хотя это может быть упрощением, если мы говорим, что передаточная функция является линейной, выражение становится чем-то вроде

z = (w1*x+w2*y)*w3 + (w4*x+w5*y)*w6

Тогда есть 4 случая:

xy=00, z=0 = 0
xy=10, z=1 = w1*w3+w4*w6
xy=01, z=1 = w2*w3+w5*w6
xy=11, z=0 = (w1+w2)*w3 + (w4+w5)*w6

Проблема в том, что

0 = (w1+w2)*w3 + (w4+w5)*w6 = w1*w3+w2*w3 + w4*w6+w5*w6            <-- xy=11 line
                            = w1*w3+w4*w6 + w2*w3+w5*w6 = 1+1 = 2  <-- xy=10 and xy=01 lines

Так что кажущихся 6 степеней свободы здесь просто недостаточно, поэтому вы испытываете необходимость в добавлении чего-то дополнительного.