Как мне обучить модель кодировщика-декодера для задачи перевода с помощью трансформаторов объятия лица? - PullRequest
Новая
       117

Как мне обучить модель кодировщика-декодера для задачи перевода с помощью трансформаторов объятия лица?

3 голосов
/ 18 июня 2020

Я хотел бы обучить модель декодера кодировщика, как указано ниже, для задачи перевода. Может ли кто-нибудь посоветовать мне, как настроить конвейер обучения для такой модели? Мы будем благодарны за понимание любых ссылок или фрагментов кода. 

from transformers import BertConfig, EncoderDecoderConfig, EncoderDecoderModel

# Initializing a BERT bert-base-uncased style configuration
config_encoder = BertConfig()
config_decoder = BertConfig()

config = EncoderDecoderConfig.from_encoder_decoder_configs(config_encoder, config_decoder)

# Initializing a Bert2Bert model from the bert-base-uncased style configurations
model = EncoderDecoderModel(config=config)
...