Что на самом деле генерирует вызов ICudaEngine.serialize ()?

Question

Я хочу выяснить, что на самом деле парни из TensorRT называют «движком».Я хочу знать это, потому что я не уверен, смогу ли я использовать один и тот же движок для вывода на основе различных архитектур GPU.

Я знаю, что существует своего рода код, выполняющий нейронную сетьшаг вывода.Я хочу выяснить, содержит ли он код cuda PTX (своего рода байт-код, интерпретируемый JIT CUDA) или, возможно, это фактический двоичный файл, скомпилированный для данной архитектуры графического процессора.

Я ожидаю, что это будет своего родапереносимого байт-кода.У вас есть какие-либо подсказки?

Большое спасибо!

Answer 1

Я хочу знать это, потому что я не уверен, смогу ли я использовать один и тот же движок для вывода на основе различных архитектур GPU

Созданные модели TensorRT оптимизированы в соответствии ск архитектуре GPU, на которой они построены.Таким образом, движок, построенный на одной архитектуре графического процессора, не должен использоваться на другой архитектуре.