Реализация обратного распространения с использованием Numpy и Python для набора данных Cleveland - PullRequest
Новая
       37

Реализация обратного распространения с использованием Numpy и Python для набора данных Cleveland

0 голосов
/ 30 апреля 2018

Я хотел предсказать болезнь сердца, используя алгоритм обратного распространения для нейронных сетей. Для этого я использовал набор данных о заболеваниях сердца UCI, связанный здесь: обработанный Кливленд . Для этого я использовал cde, найденный в следующем блоге: Создайте гибкую нейронную сеть с обратным распространением в Python и немного изменил ее в соответствии с моим собственным набором данных. Мой код выглядит следующим образом: 

import numpy as np
import csv

reader = csv.reader(open("cleveland_data.csv"), delimiter=",")
x = list(reader)
result = np.array(x).astype("float")

X = result[:, :13]
y0 = result[:, 13]
y1 = np.array([y0])
y = y1.T

# scale units
X = X / np.amax(X, axis=0)  # maximum of X array

class Neural_Network(object):
    def __init__(self):
        # parameters
        self.inputSize = 13
        self.outputSize = 1
        self.hiddenSize = 13

        # weights
        self.W1 = np.random.randn(self.inputSize, self.hiddenSize)  
        self.W2 = np.random.randn(self.hiddenSize, self.outputSize)  

    def forward(self, X):
        # forward propagation through our network
        self.z = np.dot(X, self.W1)  
        self.z2 = self.sigmoid(self.z)  # activation function
        self.z3 = np.dot(self.z2, self.W2)  
        o = self.sigmoid(self.z3)  # final activation function
        return o

    def sigmoid(self, s):
        # activation function
        return 1 / (1 + np.exp(-s))

    def sigmoidPrime(self, s):
        # derivative of sigmoid
        return s * (1 - s)

    def backward(self, X, y, o):
        # backward propgate through the network
        self.o_error = y - o  # error in output
        self.o_delta = self.o_error * self.sigmoidPrime(o)  # applying derivative of sigmoid to error

        self.z2_error = self.o_delta.dot(
            self.W2.T)  # z2 error: how much our hidden layer weights contributed to output error
        self.z2_delta = self.z2_error * self.sigmoidPrime(self.z2)  # applying derivative of sigmoid to z2 error

        self.W1 += X.T.dot(self.z2_delta)  # adjusting first set (input --> hidden) weights
        self.W2 += self.z2.T.dot(self.o_delta)  # adjusting second set (hidden --> output) weights

    def train(self, X, y):
        o = self.forward(X)
        self.backward(X, y, o)


NN = Neural_Network()
for i in range(100):  # trains the NN 100 times
    print("Input: \n" + str(X))
    print("Actual Output: \n" + str(y))
    print("Predicted Output: \n" + str(NN.forward(X)))
    print("Loss: \n" + str(np.mean(np.square(y - NN.forward(X)))))  # mean sum squared loss
    print("\n")
    NN.train(X, y)

Но когда я запускаю этот код, все мои прогнозируемые результаты становятся = 1 после нескольких итераций, а затем остаются неизменными на протяжении всех 100 итераций. в чем проблема в коде?

1 Ответ

0 голосов
/ 13 мая 2018

Мало ошибок, которые я заметил:

  • Выход вашей сети - сигмовидная, то есть значение между [0, 1] - подходит для прогнозирования вероятностей. Но целью является значение между [0, 4]. Это объясняет желание сети максимизировать выходной сигнал, чтобы максимально приблизиться к крупным меткам. Но он не может идти больше, чем 1.0 и застревает.

    Вам следует либо избавиться от окончательного сигмоида, либо предварительно обработать этикетку и увеличить ее до [0, 1]. Оба варианта помогут ему учиться лучше.

  • Вы не используете скорость обучения (фактически устанавливая ее на 1.0), которая, вероятно, немного высока, поэтому возможно отклонение NN. Мои эксперименты показали, что 0.01 - хорошая скорость обучения, но вы можете поиграть с этим.

Кроме этого, ваш backprop, кажется, работает правильно.

...