Я обучаю кодировщик-декодер LSTM для создания кратких обзоров рефератов по набору данных Amazon Kindle. Для каждого ввода выходные итоги немного отличаются, но они генерируют пару слов несколько раз.
Я пробовал случайную выборку вероятностей softmax на каждом временном шаге декодера. Таким образом, результаты различны для каждого ввода, но не относятся к вводимому тексту.
Построение гистограммы вероятностей softmax на каждом временном шаге показывает аналогичное распределение, хотя числа немного отличаются.
Я пытался уменьшить скорость обучения
вход: мне очень понравилась книга, очень хорошо написанная, буду читать снова, приятно читать
вывод: SOS не может выдерживать стресс-стресс-стресс-слеза-слеза-обманщик