Libtorch: как создать тензор из указателя половинного типа tenorRT fp16?

Question

как создать тензор из указателя половины типа tenorRT fp16 в libtorch? Я работаю над моделью обнаружения. Я изменяю его основную линию на tennorsRT, чтобы делать вывод FP16, а код обнаружения, такой как блоки декодирования и nms, делается в libtorch и torchvisoin, так как создать тензор fp16 из указателей половинного типа tenorRT? Важный код должен проиллюстрировать проблему:

// tensorRT code to get half type outpus
half_float::half* outputs[18];
doInference(*engine, data, outputs, 1);
// to get the final outputs with libtorch
vector<torch::Tensor> output;
//???? how to feed the date in outpus to output????
// get the result with libtorch method detect_trt->forward
 auto res = detect_trt->forward(output); 

Заранее спасибо.

Answer 1

Мне нужно сделать магистральный вывод в TensorRT, но пост-процесс использует libtorch для удобства. А теперь я выясняю это с помощью следующего кода:

out = torch::from_blob(outputs[i], {1, num, dim, dim}, torch::kFloat16).to(device_used);