Я реализовал архитектуру трансформатора в тензорном потоке.
Я следовал руководству: https://www.tensorflow.org/tutorials/text/transformer#setup_input_pipeline
Они реализуют позиционное кодирование следующим образом:
angle_rates = 1 / np.power(10000, (2 * (i//2)) / np.float32(d_model))
Однако в статье i не делится на 2 (i // 2), это ошибка? , или зачем делать эту операцию?
позиция
Спасибо