Ускоренная тензорная модель

Question

Я обучил модель, используя mxnet framework.Время вывода модели составляет ~ 9 миллисекунд.Модель в основном состоит из слоев слежения и использует отделимую по глубине свертку.

Я хочу запустить эту модель в браузере.Затем я преобразовал модель в формат ONNX из

ONNX -> tenorflow -> tenorflowjs.

Время вывода для модели tennflowjj ~ 129 миллисекунд.

Любое предложение по улучшениюпроизводительность для модели?

Я также пробовал ONNXJS , но, похоже, в нем все еще есть ошибок .

Answer 1

Реорганизация была бы возможной, поскольку вы имеете дело с задержкой в ​​129 мс. У вас будет время для отправки изображений в конечную точку (EC2 или SageMaker + API Gateway), на которой работает эффективный сервер вывода.

Vishaal