Я экспериментирую с использованием трансформаторных вложений в задачах классификации предложений без их точной настройки . Я использовал вложения BERT, и эти эксперименты дали мне очень хорошие результаты. Теперь я хочу использовать встраивание GPT-2 (без тонкой настройки). Итак, у меня есть два вопроса:
- Могу ли я использовать подобные встраивания GPT-2 (потому что я знаю, что Gpt-2 обучается слева направо)
- Есть ли примеры использования GPT-2 в задачах классификации, отличных от задач генерации?
- Если я могу использовать вложения GPT-2, как мне это сделать?