Я хотел использовать маскировку всего слова при обучении LM с нуля. Я не мог найти, как применить эту опцию с помощью трейнера. Я думал, что этим параметром следует управлять в «классе DataCollatorForLanguageModeling», но я не смог найти вариантов для маскировки всего слова. Я смотрю не в том месте ИЛИ это еще не реализовано? Если нет, можно ли сделать с run_language_modeling.py?
Любая помощь приветствуется! Спасибо