Как использовать BERT для перевода неанглийского текста на английский - PullRequest
Новая
       14

Как использовать BERT для перевода неанглийского текста на английский

1 голос
/ 15 октября 2019

Я пытаюсь использовать BERT для перевода неанглоязычного текста на английский. До сих пор код, который я использую, выглядит следующим образом - 

from pytorch_pretrained_bert.file_utils import 
PYTORCH_PRETRAINED_BERT_CACHE, WEIGHTS_NAME, CONFIG_NAME
from pytorch_pretrained_bert.modeling import BertForSequenceClassification, 
BertConfig
from pytorch_pretrained_bert.tokenization import BertTokenizer
from pytorch_pretrained_bert.optimization import BertAdam, 
WarmupLinearSchedule


tokenizer = BertTokenizer.from_pretrained('bert-base-multilingual-uncased')
text = "La Banque Nationale du Canada fête cette année le 110e anniversaire 
        de son bureau de Paris."
marked_text = "[CLS] " + text + " [SEP]"
tokenized_text = tokenizer.tokenize(marked_text)


token_no=[]
for token in tokenized_text:
    #print(tokenizer.vocab[token]) 
    token_no.append(tokenizer.vocab[token])


# The below code obtains the tokens from the index
new_token_list=[]
for i in token_no:
    new_token_list.append(list(tokenizer.vocab.keys())[i])

print(new_token_list);

После этого я не понимаю, как получить английский перевод текста? Я иду правильно?

...