Неожиданный вывод для tf.nn.sparse_softmax_cross_entropy_with_logits - PullRequest
0 голосов
/ 08 апреля 2019

Документация TensorFlow для tf.nn.sparse_softmax_cross_entropy_with_logits прямо заявляет, что я не должен применять softmax к входам этой операции:

Этот оператор ожидает немасштабированные логиты, поскольку он выполняет softmax на логитах внутри для эффективности.,Не вызывайте эту операцию с выходом softmax, так как он даст неверные результаты.

Однако, если я использую кросс-энтропию без softmax, это даст мне неожиданные результаты.Согласно CS231n курса ожидаемое значение потерь составляет около 2,3 для CIFAR-10:

Например, для CIFAR-10 с классификатором Softmax мы ожидаем, что начальные потери будут2.302, поскольку мы ожидаем, что диффузная вероятность составляет 0,1 для каждого класса (поскольку имеется 10 классов), а потеря Softmax является отрицательной логарифмической вероятностью правильного класса, поэтому: -ln (0,1) = 2,302.

Однако без softmax я получаю гораздо большие значения, например 108.91984.

Что именно я делаю не так с sparse_softmax_cross_entropy_with_logits?Код TF показан ниже.

import tensorflow as tf
import numpy as np
from tensorflow.python import keras


(_, _), (x_test, y_test) = keras.datasets.cifar10.load_data()
x_test = np.reshape(x_test, [-1, 32, 32, 3])

y_test = np.reshape(y_test, (10000,))
y_test = y_test.astype(np.int32)

x = tf.placeholder(dtype=tf.float32, shape=(None, 32, 32, 3))
y = tf.placeholder(dtype=tf.int32, shape=(None,))

layer = tf.layers.Conv2D(filters=16, kernel_size=3)(x)
layer = tf.nn.relu(layer)
layer = tf.layers.Flatten()(layer)
layer = tf.layers.Dense(units=1000)(layer)
layer = tf.nn.relu(layer)
logits = tf.layers.Dense(units=10)(layer)

# If this line is uncommented I get expected value around 2.3
# logits = tf.nn.softmax(logits)

loss = tf.nn.sparse_softmax_cross_entropy_with_logits(labels=y,
                                                      logits=logits)
loss = tf.reduce_mean(loss, name='cross_entropy')

with tf.Session() as sess:
    sess.run(tf.global_variables_initializer())

    res = sess.run(loss, feed_dict={x: x_test[0:256], y: y_test[0:256]})
    print("loss: ", res)
    # Expected output is value close to 2.3
    # Real outputs are 108.91984, 72.82324, etc.

1 Ответ

1 голос
/ 08 апреля 2019

Проблема не в строках

# If this line is uncommented I get expected value around 2.3
# logits = tf.nn.softmax(logits)

Изображения в наборе данных cifar10 представлены в RGB, поэтому значения пикселей находятся в диапазоне [0, 256).Если вы поделите x_test на 255

x_test = np.reshape(x_test, [-1, 32, 32, 3]).astype(np.float32) / 255

, значения будут изменены до [0,1], а tf.nn.sparse_softmax_cross_entropy_with_logits вернет ожидаемые значения

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...