как мы можем использовать функцию перевода fairseq без bpe

Question

Я использовал предварительно обученную модель японского перевода, обученную через fairseq http://www.kecl.ntt.co.jp/icl/lirg/jparacrawl/

он содержит следующие файлы

model.pt dict.en.txt dict. ja.txt spm.en.nopretok.model spm.en.nopretok.vocab spm.ja.nopretok.model spm.ja.nopretok.vocab

Я хотел использовать

  from fairseq.models.transformer import TransformerModel
    zh2en = TransformerModel.from_pretrained(
      '/path/to/checkpoints',
      checkpoint_file='checkpoint_best.pt',
      data_name_or_path='data-bin/wmt17_zh_en_full',
      bpe='subword_nmt',
      bpe_codes='data-bin/wmt17_zh_en_full/zh.code'
    )

это функция fairseq, но у меня нет файла кодов BPE.

пожалуйста, подскажите, как я могу использовать эту предварительно подготовленную модель в python с помощью fairseq

Answer 1

Я нашел файл vocab.model, и он работал с использованием фразы