Для пояснения, оригинальная модель Transformer от Vaswani et al. это архитектура кодер-декодер Поэтому утверждение «Трансформатор однонаправлен» вводит в заблуждение.
Фактически, преобразователь энкодера является двунаправленным, что означает, что самообслуживание может обслуживать токены как слева, так и справа. Напротив, декодер является однонаправленным, поскольку при генерации текста по одному токену за раз вы не можете позволить декодеру присутствовать справа от текущего токена. Трансформаторный декодер ограничивает внимание, маскируя жетоны справа.
BERT использует архитектуру трансформаторного кодера и поэтому может обслуживать как слева, так и справа, что приводит к "двунаправленности".
Из самой бумаги BERT:
Мы отмечаем, что в литературе двунаправленный преобразователь часто упоминается как «преобразователь преобразователя», в то время как версия только для левого контекста упоминается как «декодер преобразователя», поскольку он может использоваться для генерации текста.
Рекомендуемое чтение: эта статья .