Я использую слой Keras Embeddeds.Я хотел бы установить весовую сумму (обучаемую или фиксированную) для вложений, но я не уверен, как это сделать.
Например: мой ввод - это идентификатор слова для представления документа [wID1, wID2, wID3]:
Input_vector = [[5, 1, 1]]
Вывод уровня внедрения [e1, e2, e3]:
Embedding layer = [[0.708, 0.129, 0.101],
[0.108, 0.459, 0.007],
[0.108, 0.459, 0.007]]
, если вес = [w1, w2, w3], я хочу реализовать его следующим образом:
Weight_sum = w1 * e1 + w2 * e2 + w3 * e3
(Примечание: вес можно тренировать или фиксировать)