Как лучше всего обращаться с аббревиатурами в модели встраивания персонажей?То есть, у меня есть DC в качестве аббревиатуры от Вашингтона - в модели встраивания символов, такой как fasttext, это может отбросить обычную комбинацию символов dc, которую можно использовать другими словами.
Я думаю о том, чтобы справиться с этим, используя нестандартную лемматизацию, чтобы вместо таких аббревиатур, как DC, вместо них использовалось то, что они обозначают.Это типичный подход или есть лучший способ?
Также примечательно, что корпус, который я буду использовать для своей задачи, вероятно, будет иметь массу сокращений, с которыми я не знаком, поэтому я не уверен, что рукописный стеммер идеален.