Я обнаружил, что существует множество различных способов использования токенов <PAD>, <EOS> и <GO>.
Лично я разделяю эти три токена и назначаю им разные вложения, присваивая все- вектор встраивания нуля в токен <PAD> (с моделью seq2seq на основе RNN).
Большинство кодов показывают, что <PAD>, <EOS> и <GO> все представлены как <PAD> токен.
Я хочу знать, есть ли оптимальное использование этих токенов (с точки зрения моделей на основе RNN или моделей на основе трансформатора).