Прогноз всегда 1 или 0 - PullRequest
Новая
       39

Прогноз всегда 1 или 0

0 голосов
/ 12 октября 2018

РЕДАКТИРОВАТЬ: сжатие ввода между 0, 1 дает мне около 0,5 выхода на нейрон на набор данных.

Кажется, что выход всегда равен 1 с каждым набором входов, которые я передаю после тренировки.Однако, если я изменю скорость обучения с поз.к отрицаниюи наоборот, выход всегда равен 0. 

LN = -0.05

def Matrix(numI, numO):
    matrix = []
    for i in range(0, numO):
        matrix.append([])
        for c in range(0, numI):
            if c > numI:
                rw = random.random()
                matrix[i].append(rw)
            else:
                rw = random.random()
                matrix[i].append(rw)
    return matrix


class Neuralnetwork:

    def __init__(self, numI, numO):
        self.Output_layer = Output_layer(numI, numO)
        self.Feed_forward = self.Output_layer.Feed_forward

    def train(self, t_inputs, t_targets):
        for n in range(len(self.Output_layer.Neurons)):
            self.Output_layer.new_weight(t_inputs, t_targets, n)


class Output_layer:

    def __init__(self, numI, numO):

        self.Bias = 1
        self.Matrix = Matrix(numI, numO)
        self.Neurons = []

        for o in range(numO):
            self.Neurons.append(Neuron(self.Matrix, o))

    def Feed_forward(self, inputs):
        outputs = []
        for i in self.Neurons:
            outputs.append(i.Output(inputs, self.Bias))
        print(outputs)

    def new_weight(self, t_inputs, t_targets, a):
        for aw in range(len(self.Neurons[a].Weights)):
            totalsw = []
            totalsb = []
            for i in range(len(t_inputs)):
                pd_c_wrt_output = 2 * (self.Neurons[a].Output(t_inputs[i],     self.Bias) - t_targets[i][a])
            pd_output_wrt_net = self.Neurons[a].Output(t_inputs[i], self.Bias) * (1 - self.Neurons[a].Output(t_inputs[i], self.Bias))
            pd_net_wrt_weight = t_inputs[aw][aw]
            pd_c_wrt_weight = pd_c_wrt_output * pd_output_wrt_net * pd_net_wrt_weight
            totalsw.append(pd_c_wrt_weight)
            pd_c_wrt_output = 2 * (self.Neurons[a].Output(t_inputs[i], self.Bias) - t_targets[i][a])
            pd_output_wrt_net = self.Neurons[a].Output(t_inputs[i], self.Bias) * (1 - self.Neurons[a].Output(t_inputs[i], self.Bias))
            pd_net_wrt_bias = 1
            pd_c_wrt_bias = pd_c_wrt_output * pd_output_wrt_net * pd_net_wrt_bias
            totalsb.append(pd_c_wrt_bias)
        pd_weight = sum(totalsw)
        pd_bias = sum(totalsb)
        self.Neurons[a].Weights[aw] -= LN * pd_weight
        self.Bias -= LN * pd_bias


class Neuron:
    def __init__(self, matrix, index_of_M):

        self.Weights = matrix[index_of_M]

    def Weighted_sum(self, weights, inputs, bias):
        ind = 0
        weightedI = []
        for i in weights:
            output = i * inputs[ind]
            weightedI.append(output)
            ind += 1

        list = sum(weightedI) + bias
        return list

    def Sigmoid(self, prediction):
        e = math.exp(-prediction)
        prediction = 1 / (1 + e)
        return round(prediction, 8)

    def Output(self, inputs, bias):
        output = self.Sigmoid(self.Weighted_sum(self.Weights, inputs, bias))
        return output


nn = Neuralnetwork(2, 2)
nn.Feed_forward([10, 20])

for i in range(100000):
    nn.train([[10, 20], [15, 30], [8, 16], [3, 9], [6, 18], [2, 6]],
            [[1, 0], [1, 0], [1, 0], [0, 1], [0, 1], [0, 1]])`

В моей первой нейронной сети все работало нормально.На самом деле не могу найти ошибку, хотя.Я пробовал разные вещи, такие как помещение new_weight в класс нейронов, разное количество входов и выходов и т. Д.

1 Ответ

0 голосов
/ 12 октября 2018

Попробуйте установить значения веса в случайном порядке.Это поможет нарушить симметрию.Также установите смещения на 1. У вас есть два выходных класса.Итак, я предлагаю вам использовать функцию потерь, такую ​​как среднеквадратическая ошибка, с оптимизатором градиентного спуска.Также установите скорость обучения, например, 0,001 или 0,01.

Вы можете узнать больше здесь .

...