TensorFlow 2.0: использование GradientTape для ручного обновления параметров - PullRequest
Новая
       24

TensorFlow 2.0: использование GradientTape для ручного обновления параметров

1 голос
/ 23 марта 2019

Я пытаюсь создать простую однослойную нейронную сеть, используя GradientTape из TensorFlow 2.0, и обновить все параметры вручную, но, похоже, это не работает.

Вот одна итерация цикла обучения: 

W = tf.Variable(tf.random.normal([784,10], dtype = tf.float64, stddev=1))
b = tf.Variable(tf.random.normal([10], dtype = tf.float64))

X = x_train[0:mini_batch_size]
Y = y_train[0:mini_batch_size]

with tf.GradientTape() as tape:
    Y_pred = tf.sigmoid(tf.matmul(X,W)+b)
    loss = tf.reduce_mean(tf.reduce_sum((Y-Y_pred)**2, axis = 1))
dW, db = tape.gradient(loss, [W,b])

Если я распечатаю dW, это просто все нули. А ручное обновление W = W - 1,0 * dW дает неподдерживаемые типы операндов для ошибок *: 'float' и 'NoneType'.

...