Почему Softmax не выбирает с максимальной вероятностью? - PullRequest
0 голосов
/ 21 ноября 2018

Я слушаю лекции курса CS231 из Стэнфордского университета.Я не могу понять точку из RNN , почему Softmax не может выбрать наибольшую вероятность, которая составляет 0,84 для символа o (в прилагаемом примере) вместо0,13 для персонажа e .Объяснение будет высоко оценено.

enter image description here

1 Ответ

0 голосов
/ 23 ноября 2018

Я на самом деле не смотрел лекцию, но я думаю, что 'e' вверху - это ожидаемый результат (и 'l', 'l', 'o' тоже).Начальные веса не дают достаточно хороших результатов (давая «о» вместо «е»).По мере обучения сети весы станут более зрелыми, и в конечном итоге вы увидите изменение вероятностей, и первое предсказание приведет к «е», в конечном итоге

...