Идея для тонкой задачи только инициализировать декодер в объятиях-трансформеры - PullRequest
0 голосов
/ 05 апреля 2020

Я обнаружил, что класс PretrainedEncoderDecoder https://github.com/huggingface/transformers/blob/master/src/transformers/modeling_encoder_decoder.py в объятиях должен инициализировать и кодер, и декодер одновременно. В то время как моя задача состоит в том, чтобы обучить что-то еще как кодировщик и использовать GPT2 в качестве декодера Означает ли это, что я не могу использовать обнимашки? Есть ли у меня другие занятия? Я долго искал, но пока не получал результатов. Ценю любые практические предложения.

...