Я хорошо настраиваю различные модели gpt-2 для генерации текста, и мне интересно, насколько сильно зависит качество генерируемого текста в зависимости от размера модели. Например, разница между моделью 124M и моделью 1.5B, вероятно, существенна, но значительна ли разница между моделью 774M и 1.5B?
Я понимаю, что здесь много факторов, таких как качество данных, гиперпараметр и c. Предполагая, что все они идеально подходят для каждого размера модели, вы увидите значительную разницу в качестве?
Спасибо за ответы.