Умножение матрицы Keras для получения предсказанных значений - PullRequest
Новая
       37

Умножение матрицы Keras для получения предсказанных значений

0 голосов
/ 26 октября 2018

Я хочу взять выходные данные модели Keras, чтобы вручную вычислить прогнозируемые значения с помощью умножения матриц. Я хотел бы сделать это, чтобы помочь понять, как Keras работает под капотом. Я буду использовать простую проблему XOR. Вот мой код: 

import numpy as np
import keras
from keras.models import Sequential
from keras.layers.core import Dense
from keras.callbacks import LambdaCallback

class LossHistory(keras.callbacks.Callback):
    def on_train_begin(self, logs={}):
        self.losses = []

    def on_batch_end(self, batch, logs={}):
        self.losses.append(logs.get('loss'))


history = LossHistory()

# the four different states of the XOR gate
training_data = np.array([[0,0],[0,1],[1,0],[1,1]], "float32")

# the four expected results in the same order
target_data = np.array([[0],[1],[1],[0]], "float32")

model = Sequential()
model.add(Dense(4, input_dim=2, activation='relu'))
model.add(Dense(1, activation='sigmoid'))

print_weights = LambdaCallback(on_epoch_end=lambda batch, logs: print(model.layers[0].get_weights()))

model.compile(loss='mean_squared_error',
              optimizer='adam',
              metrics=['binary_accuracy'])

history2 = model.fit(training_data, target_data, epochs=50, verbose=2, callbacks=[print_weights, history])

print(model.predict(training_data).round())


W1 = model.get_weights()[0]
X1 = np.matrix([[0,0],[1,1]], "float32")
wx = np.dot(X1,W1)
b = model.get_weights()[1]
wx = np.reshape(wx,(4,2))
b = np.reshape(b, (4,1))
z = wx + b
from numpy import array, exp
a1 = 1 / (1 + exp(-z))
print('g =\n', a1)

W2 = model.get_weights()[2]
b2 = model.get_weights()[3]
W2 = np.reshape(W2,(1,4))
a1 = np.reshape(a1, (4,1))
wa = np.dot(W2,a1)
z2 = wa + b2
a2 = 1 / (1 + exp(-z2))
print('g =\n', a2)

Насколько я понимаю, get_weights()[0] и get_weights()[1] являются весами и смещениями для первого слоя, соответственно, а get_weights()[2] и get_weights()[3] являются весами и смещениями для второго слоя. Я считаю, что проблема, которую я имею, состоит в том, чтобы выяснить, что такое x1 и x2, поскольку они относятся к уравнению z = Wx + b. Веса извлекаются из последней эпохи и обычно являются весами, которые достигают 100% точности. Результат, который я ожидаю, равен [0,1,1,0] для прогнозов y-hat, основанных на ручном расчете z = Wx + b, а затем взятии сигмоида z.

1 Ответ

0 голосов
/ 29 октября 2018

Ты очень близко!

Во-первых, 50 эпох, использующих тренировочный набор только с 4 событиями, было недостаточно для воспроизведения правильного выходного результата (0,1,1,0), поэтому я увеличил количество эпох до 1000. Ниже приведен код, который я использовал с десятичным и округленным выводом: 

import numpy as np
from keras.models import Sequential
from keras.layers.core import Dense

# Set seed for reproducibility
np.random.seed(1)

# the four different states of the XOR gate
training_data = np.array([[0,0],[0,1],[1,0],[1,1]], "float32")
# the four expected results in the same order
target_data = np.array([[0],[1],[1],[0]], "float32")

model = Sequential()
model.add(Dense(4, input_dim=2, activation='relu'))
model.add(Dense(1, activation='sigmoid'))
model.compile(loss='mean_squared_error',optimizer='adam',metrics=['binary_accuracy'])

history = model.fit(training_data, target_data, epochs=1000, verbose=1)

# decimal output
print('decimal output:\n'+str(model.predict(training_data)))
# rounded output
print('rounded output:\n'+str(model.predict(training_data).round()))
# ouputs:
decimal output:
[[ 0.25588933]
 [ 0.82657152]
 [ 0.83840138]
 [ 0.16465074]]
rounded output:
[[ 0.]
 [ 1.]
 [ 1.]
 [ 0.]]

Модель дает правильную округлую мощность, хорошо! Десятичный вывод удобно использовать для сравнения ручного подхода.

Для ручного подхода, X1 является входом для модели, либо [0,0], [0,1], [1,0] или [1,1]. X2 - это выход первого слоя и ввод последнего слоя. Вес и смещения точно такие же, как вы сказали ("get_weights () [0] и get_weights () [1] - весовые коэффициенты и смещения для первого слоя соответственно), а get_weights () [2] и get_weights () [3] "веса и уклоны для второго слоя"). Но может показаться, что вы забыли функцию активации relu в первом слое? Давайте посмотрим на код решения: 

# Parameters layer 1
W1 = model.get_weights()[0]
b1 = model.get_weights()[1]

# Parameters layer 2
W2 = model.get_weights()[2]
b2 = model.get_weights()[3]

# Input
X1 = np.array([[0,0],[0,1],[1,0],[1,1]], "float32")
# Use the following X1 for single input instead of all at once
#X1 = np.array([[0,0]])

# First layer calculation
L1 = np.dot(X1,W1)+b1
# Relu activation function
X2 = np.maximum(L1,0)
# Second layer calculation
L2 = np.dot(X2,W2)+b2
# Sigmoid
output = 1/(1+np.exp(-L2))

# decimal output
print('decimal output:\n'+str(output))
# rounded output
print('rounded output:\n'+str(output.round()))
# ouputs:
decimal output:
[[ 0.25588933]
 [ 0.82657152]
 [ 0.83840144]
 [ 0.16465074]]
rounded output:
[[ 0.]
 [ 1.]
 [ 1.]
 [ 0.]]

Вы можете использовать все 4 входа одновременно, как указано выше, или только один вход, как закомментировано # X1. Обратите внимание, что десятичный вывод «model.predict» и ручной подход дают точно такой же результат (с небольшим отклонением при третьем значении, возможно, из-за некоторого отклонения округления в керас / число пустышек?)

...