Настройка универсального кодировщика предложений

Question

Я новичок в TensorFlow.Я использую Universal Sentence Encoder для сходства текста.Я хотел бы настроить USE с моим собственным корпусом.

В настоящее время у меня есть:

module_url = "https://tfhub.dev/google/universal-sentence-encoder/2" 
embed = hub.Module(module_url, trainable=True)

В соответствии с здесь , установка trainable=True будет "выставлять переменные какобучаемый».Тем не менее, я понятия не имею, что это за обучаемые переменные и как я могу использовать их для тонкой настройки ИСПОЛЬЗОВАНИЯ с моим собственным корпусом.

Пожалуйста, любые указания или указания будут высоко оценены.

Answer 1

Для точной настройки предварительно обученной модели необходимо обновить ее веса в последующей учебной задаче.

Таким образом, у вас есть 2 варианта:

1. trainable=False
   • эта опция будет тренироваться быстрее, но веса предварительно обученных моделей никогда не будут обновляться.Вложение предложения будет выглядеть одинаково до и после вашей тренировки.Только ваши собственные слои модели будут менять свои веса при обучении.
2. trainable=True
   • это добавляет вычислительную нагрузку на ваш тренировочный цикл, но позволяет весамEmbedder будет обновляться в соответствии с вашей задачей и данными обучения.Это может привести к более точной окончательной модели