Керас не такой плотный слой

Question

Предыдущий слой имеет размер вложения (V clasess, K -outputdim) - я хочу ввести размер матрицы весов K x T. Веса будут обучаемыми (как и вложения). Они генерируют матрицу VxT, которая будет использоваться в нисходящем направлении , 1) Как я могу пойти по этому поводу? 2) Будет ли этот беспорядок с градиентами?

Это в основном вектор x Matrix. Пример - вложение vocab = 10, dim K = 4. так что для конкретного члена словаря мои веса вложения - это размер вектора (1,4) (думаю, вектор строки).

Для каждого вектора строки я хочу умножить весовую матрицу размером 4x10, получив 1 x 10 вектор (или слой). Весовая матрица является общей для всех членов словаря.

Этот вектор 1 x 10 будет введен для следующего слоя.

Answer 1

То, что вы хотите, это плотный слой, просто без смещения.Плотный слой внутри имеет матрицу, которая является общей для всех входов, он не зависит от входа.

Так что это может быть реализовано как:

x = Dense(10, use_bias=False)(some_input_tensor)

Функция активации не требуется, так какВы просто хотите умножение матрицы.