Как сохранить точность при преобразовании модели pytorch в TensorRT в режиме FP16 - PullRequest
1 голос
/ 30 мая 2020

Я хочу использовать режим TensorRT FP16 для ускорения моей модели pytorch, но есть потеря точности. Мой вопрос: как я могу использовать обучение смешанной точности pytorch, чтобы избежать потери точности при преобразовании в модель TensorRT FP16. Я пробовал torch.cuda.amp.autocast для обучения модели, но он все равно потерял некоторую точность.

...