Являются ли текстовые emebddings также точными при настройке для задачи классификации?Или до какого уровня точно настраиваются кодировки (последний второй слой)?
Если вы используете оригинальный репозиторий BERT , опубликованный Google, все слои поддаются обучению;значение: вообще не замерзатьВы можете проверить это, напечатав tf.trainable_variables().
tf.trainable_variables()