косинусное сходство для внимания декодера в нмт

Question

Я реализую модель нейронного машинного перевода, и для части декодера (с механизмом внимания) я хотел бы вычислить косинусное сходство для нахождения оценок. Вот функция:

оценка (a, b) = / || a || || Ь ||

В моем случае:

        a = htilde_t (N, H)

        b = h (S, N, H)

        the output should be (S, N)

Моя путаница связана с их размерами, и я не знаю, как решить это в pytorch.

Answer 1

См. Здесь: https://pytorch.org/docs/master/nn.html?highlight=cosine#torch .nn.CosineShogity

cos = nn.CosineSimilarity(dim=2, eps=1e-6)
output = cos(a.unsqueeze(0),b)

вам нужно отжать, чтобы добавить измерение-призрак, чтобы оба ввода имели одинаковый размер:

    Input1: (∗1,D,∗2) where D is at position dim

    Input2: (∗1,D,∗2) , same shape as the Input1

    Output: (∗1,∗2)