Как получить вложение от тонкой настройки Bert?

Question

Я оштрафовал модель 'bert-base-uncased', используя трансформатор и фонарик, которые дали мне pytorch_model.bin, vocab.txt и другие файлы в качестве вывода. После загрузки модели я получаю вложение для полного словаря, например, матрицу, которая сопоставляет каждое слово с его вектором вложения

Answer 1

Я рекомендую использовать Huggingface , они делают его очень простым в использовании и обучении всех вариантов модели Transformer.

Чтобы получить вложение из настроенной модели BERT, вы можете использовать BertModel.set_input_embeddings () .