У меня есть интересный вопрос о BERT.
Можно ли упростить архитектуру модели, сказав, что сходство двух слов в разных контекстах будет зависеть от сходства вложенных вложений, составляющих разные контексты? Например, могу ли я сказать, что сходство вложений GLASS в контексте DRINK_GLASS и WINE в контексте LOVE_WINE будет зависеть от сходства входных вложений GLASS и WINE (последняя позиция) и DRINK и LOVE (первая позиция)? Или я должен также принять во внимание сходство между DRINK (первый контекст, первая позиция) и WINE (второй контекст, вторая позиция) и LOVE и GLASS (наоборот)?
Спасибо за вашу помощь, на данный момент это Мне действительно трудно понять архитектуру Берта, но я пытаюсь проводить эксперименты, поэтому мне нужно понять некоторые основы.