Я обучаю автокодер реконструировать векторы TFIDF, элементы которых могут l ie в диапазоне от - бесконечности до + бесконечности. Что, кроме линейной активации, можно использовать в качестве возможной функции нелинейной активации на выходном слое авто-кодера? Функция активации предназначена для выдачи выходов в диапазоне от + бесконечности до - бесконечности.
Все мои другие NN-слои, включая «Узкое место», имеют активацию tanh. Я использую потери cosine_proximity и оптимизацию Adagrad для управления градиентным спуском
Я реализую вышеупомянутое в Keras с бэкэндом Tensorflow.