Существует ли реализация GPT-2, которая позволяет мне точно настраивать и запрашивать завершение текста?

Question

I sh для точной настройки реализации GPT-2 для некоторых текстовых данных. Затем я хочу использовать эту модель для завершения текстового приглашения. Я могу сделать первую часть достаточно легко, используя gpt-2-simple Макса Вульфа. И Вилка Нила Шепарда OpenAI позволяет обучать GPT-2 новым данным и дополняет текст.

Однако, мой корпус слишком мал, чтобы тренироваться и не получить гиббери sh обратно. Есть ли способ объединить две функции? В идеале я хотел бы иметь возможность сделать это через интерфейс python (в отличие от CLI), так как я хотел бы использовать pandas для очистки данных и того, что у вас есть. Спасибо.

Answer 1

Трансформаторы Huggingface имеют реализацию GPT-2 (включая предварительно обученные модели) для PyTorch и TensorFlow. Вы можете легко работать с ними в Python.

Точная настройка GPT-2, однако, требует много памяти, и я не уверен, что вы сможете выполнить полное обратное распространение на этом. В этом случае вы точно настраиваете несколько верхних слоев.