В функции оценки реализации Tongorflow Luong Attention
есть код ( ссылка на github ):
# batched matmul on:
# [batch_size, 1, depth] . [batch_size, depth, max_time]
# resulting in an output shape of:
# [batch_size, 1, max_time]
query = array_ops.expand_dims(query, 1)
score = math_ops.matmul(query, keys, transpose_b=True)
score = array_ops.squeeze(score, [1])
Я предполагаю, что В коде Tensorflow реализована функция точечной оценки из публикации Луонга ?
Если это правильно - общая функция оценки (указанная выше) использует веса Wa просто для масштабирования ht в hs (если эти 2 имеют разные формы)?