Попытка создать модель с использованием gpt-2 (117,345M). Уже обучил модель с набором текстовых последовательностей около 80 тыс. И добился довольно хороших результатов. Но теперь, чтобы интегрировать его в реальные сценарии, мы сталкиваемся с проблемой времени вывода. Как и для одного входа, требуется около 20 секунд (приблизительно) для прогнозирования выходной последовательности.
Методы, которые уже были опробованы, но не были реализованы -
Замораживание модели Метод требуетимя выходного узла, который я не смог найти. Исследовал график, пробовал каждый узел, но не работал, произошел сбой с сообщением "{узел} не найден на графике".
тензор потока Служба SAVEDMODEL завершилась с сообщением "нет тегаset доступны в теге serve ", поэтому попытался использовать cmd Saved_model_cli для получения выходных данных signature_def, которые показывают входные и выходные узлы модели. Но произошел сбой с сообщением «мета-граф не найден».
Цель: уменьшить размер модели, квантовать его, чтобы получить быстрое время генерации последовательности.