Функция потерь для регрессии логистики c Tensorflow - результаты формулы и функции тензорного потока не совпадают

Question

Я пытаюсь выполнить регрессию c в Tensorflow с двумя функциями стоимости:

dim = train_X.shape[1]
X = tf.placeholder(tf.float32, shape=(None, dim))
y = tf.placeholder(tf.float32, shape=(None,1))

W = tf.Variable(tf.zeros(shape=(dim,1)))
b = tf.Variable(tf.zeros([1]))

y_pred = tf.nn.sigmoid(tf.add(tf.matmul(X,W), b)) # using matmul for matrix multiplication. x.shape(768,8) w.shape(8,1)

cost = tf.reduce_mean(tf.add(-tf.multiply(y, tf.log(y_pred)), -tf.multiply(1-y, tf.log(1-y_pred))))
cost2 = tf.reduce_mean(tf.nn.sigmoid_cross_entropy_with_logits(logits=y_pred, labels=y))

train = tf.train.GradientDescentOptimizer(learning_rate).minimize(cost)
train2 = tf.train.GradientDescentOptimizer(learning_rate).minimize(cost2)

Обе эти функции стоимости дают разные результаты, хотя, как я понимаю, они должны выдавать одинаковые.

session = tf.Session()
session.run(init)
print(session.run(cost, feed_dict={X:train_X, y:train_y}))
print(session.run(cost2, feed_dict={X:train_X, y:train_y}))

Может кто-нибудь объяснить, почему это происходит, и какие изменения я должен сделать, чтобы заставить их показывать те же результаты?

Answer 1

Переменная прогнозирования для переменной cost2 должна быть:

y_pred2 = tf.add(tf.matmul(X,W2), b2)

, поскольку tf.nn.sigmoid_cross_entropy_with_logits уже имеет встроенную сигмовидную функцию.