загрузка даже слоев предварительно обученного BERT для классификации - PullRequest
2 голосов
/ 08 марта 2020

Я использую библиотеку трансформеров HuggingFace. Насколько я знаю, изменение количества скрытых слоев в файле конфигурации приводит к загрузке первых x слоев предварительно обученного BERT. Я хочу загрузить четные слои (или последние x слоев) предварительно обученного BERT, а затем точно настроить их для задачи классификации.

Пример для задач классификации можно найти здесь: run_glue.py

Заранее спасибо

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...