Какая функция активации используется в полностью связанном скрытом слое встраивания Keras? Я либо неправильно понимаю концепцию этого класса, либо не могу найти документацию. Я понимаю, что это кодирование из слова в реальный вектор измерения d с помощью ответов, подобных приведенным ниже на stackoverflow:
Встраивание слоев в Keras осуществляется так же, как и любой другой слойв вашей сетевой архитектуре: они настроены так, чтобы минимизировать функцию потерь с помощью выбранного метода оптимизации. Основное отличие от других слоев заключается в том, что их вывод не является математической функцией ввода. Вместо этого вход для слоя используется для индексации таблицы с векторами внедрения [1]. Однако базовый механизм автоматического дифференцирования не имеет проблем с оптимизацией этих векторов для минимизации функции потерь ...
В моей сети у меня есть часть внедрения слова, которая затем связана с более крупной сетью, котораяпредсказывает двоичный результат (например, нажмите да / нет). Я понимаю, что это встраивание в Keras не работает как word2vec, потому что здесь мое встраивание обучается и обновляется в соответствии с моей конечной функцией кросс-энтропии. Но нет никакого упоминания о том, как активируется встраивание полностью связного слоя. Спасибо!