И ворота однослойной нейронной сети с тензорным потоком - PullRequest
Новая
       85

И ворота однослойной нейронной сети с тензорным потоком

0 голосов
/ 07 апреля 2020

Я следую этому руководству (https://medium.com/@jaschaephraim / elementary-neural-networks-with-tenorflow-c2593ad3d60b ) для реализации логического элемента AND с однослойной нейронной сетью. Полный код приведен ниже: 

import tensorflow as tf
T, F = 1., -1.
bias = 1.
train_in = [
    [T, T, bias],
    [T, F, bias],
    [F, T, bias],
    [F, F, bias],
    ]
train_out = [
    [T],
    [F],
    [F],
    [F],
]

w = tf.Variable(tf.random.normal([3, 1]))

def step(x):
    is_greater = tf.greater(x, 0)
    as_float = tf.cast(is_greater, dtype=tf.float32)
    doubled = tf.multiply(as_float, 2)
    return tf.subtract(doubled, 1)

output = step(tf.matmul(train_in, w))
error = tf.subtract(train_out, output)
mse = tf.reduce_mean(tf.square(error))

delta = tf.matmul(train_in, error, transpose_a=True)
train = tf.compat.v1.assign_add(w, tf.add(w, delta))

sess =tf.compat.v1.Session()
sess.run(tf.compat.v1.initialize_all_variables())

err, target = 1, 0
epoch, max_epochs = 0, 10 
while err > target and epoch < max_epochs:
    epoch += 1
    err, _ = sess.run([mse, train])
    print('epoch:', epoch, 'mse:', err)

Однако я не могу понять следующие строки: 

delta = tf.matmul(train_in, error, transpose_a=True)
train = tf.compat.v1.assign_add(w, tf.add(w, delta))

Может ли кто-нибудь объяснить математически (с помощью матрицы, если это возможно) назначение двух строки выше (особенно почему delta рассчитывается таким образом)?

1 Ответ

0 голосов
/ 11 апреля 2020

OK. Кажется, существуют разные правила обновления веса персептрона в зависимости от того, использовали ли вы функцию активации, которая дифференцируема, см. Слайд 7 и 15 здесь: https://slideplayer.com/slide/12558216/

...