Я программирую приложение для распознавания рукописных цифр с помощью набора данных MNIST для школы, я добавил уклон и хотел написать, что это повышает точность, но на самом деле это не помогло. После одной эпохи точность без смещения составила 91,6%, а с смещением 91,53%. После нескольких эпох не было большой разницы. Это меня очень удивило, может кто-нибудь сказать мне, почему смещение не помогает в моей сети? Может быть, код неправильный, но я так не думаю.
import tensorflow as tf
iN = 28*28
hN = 150
oN = 10
lr = 0.2
epochs = 15
wih = tf.Variable(tf.truncated_normal((iN,hN), stddev=0.1))
who = tf.Variable(tf.truncated_normal((hN,oN), stddev=0.1))
bh = tf.Variable(tf.zeros((1,hN)))
bo = tf.Variable(tf.zeros((1,oN)))
x = tf.placeholder(tf.float32, shape=[1,28*28])
y = tf.placeholder(tf.float32, shape=[1,10])
hidden = tf.sigmoid(tf.matmul(x,wih) + bh)
output = tf.sigmoid(tf.matmul(hidden, who) + bo)
loss = tf.reduce_mean(tf.squared_difference(y, output))
train_step = tf.train.GradientDescentOptimizer(lr).minimize(loss)