Неуправляемая настройка BERT только для вложений?

Question

Надеюсь, вы, ребята, можете мне помочь!

Я хотел бы настроить BERT для заданного домена c на немаркированных данных и получить выходной слой, чтобы проверить сходство между ними. Как мне это сделать? Нужно ли мне сначала точнее настроить задачу классификатора (или ответ на вопрос и т. Д. c ...) и получить вложения? Или я могу просто использовать предварительно обученную модель Берта без каких-либо задач и точной настройки со своими собственными данными?

Спасибо!

Answer 1

Нет необходимости в точной настройке для классификации, особенно если у вас нет какого-либо контролируемого набора классификационных данных.

Вы должны продолжить обучение BERT так же, как это было первоначально обучено, т. Е. Продолжить "до обучение с использованием цели модели языка маски и прогнозирования следующего предложения. Реализация Hugginface для этого содержит класс BertForPretraining.