В двух словах:
- Я прошел предварительную подготовку README со своими собственными данными (поэтому я заменил набор данных wiki своими собственными, все - все остальное скопировано / вставлено)
- Я использовал модель, предварительно обученную другими людьми (с опцией --restore-file)
- Я использовал кодировщик gpt2_bpe, vocab и dict, загруженные из README.pretraining После обучения я немного протестировал модель и вывод для заполнения маски всегда какое-то число (я думаю, что это не так, как теперь их декодировать в слова)
- Я не могу найти способ решить это, так как я сделал все, как написано в README, за исключением замены данных в начале .
Ссылка на блокнот с командами
Пример:
In:
! Обратите внимание на двойной пробел перед!
roberta.fill_mask('Bolesław chrobry urodził się w <mask>.', topk = 10)
Out:
[('Bolesław chrobry urodził się w 35735.', 0.00015262558008544147, '35735'),
('Bolesław chrobry urodził się w 1352.', 0.00015025328320916742, '1352'),
('Bolesław chrobry urodził się w 48580.', 0.00014154364180285484, '48580'),
('Bolesław chrobry urodził się w 2960.', 0.00013927527470514178, '2960'),
('Bolesław chrobry urodził się w 44026.', 0.0001296651316806674, '44026'),
('Bolesław chrobry urodził się w 49958.', 0.0001274164387723431, '49958'),
('Bolesław chrobry urodził się w 2556.', 0.00012739280646201223, '2556'),
('Bolesław chrobry urodził się w 34301.', 0.000126967832329683, '34301'),
('Bolesław chrobry urodził się w 22433.', 0.0001259078417206183, '22433'),
('Bolesław chrobry urodził się w 38204.', 0.0001207769091706723, '38204')]