Как вывести логиты из тонко настроенного BERT - PullRequest
Новая
       76

Как вывести логиты из тонко настроенного BERT

0 голосов
/ 06 ноября 2019

Я настроил предварительно обученную модель BERT в pytorch, используя библиотеку huggingface. 

def finetune_BERT():
  ...
  return model

Теперь у меня есть вложение word2vec для предложений. Я хочу передать это вложение этой модели и вернуть логиты. Что-то вроде ниже 

embedding = create_embedding(input_sentences)
logits = model(embedding)

Но модель резака требует других входных параметров, которые поступают из кортежа объекта dataLoader. Эти параметры не совсем в формате word2vec. Например, 

for batch in dataloader:
    batch = tuple(t.to(device) for t in batch)
    b_input_ids, b_input_mask, b_labels = batch
    output = model(b_input_ids, token_type_ids=None,attention_mask=b_input_mask)

Любое предложение о том, как я могу преобразовать вложение word2vec, чтобы соответствовать этому формату, или есть какой-либо другой способ извлечь логиты?

...