Время вывода WinML на GPU в 3 раза медленнее, чем Tensorflow python

Question

Я пытаюсь использовать модель тензорного потока, обученную на python в WinML. Я успешно конвертирую protobuf в onnx. Получены следующие результаты производительности:

• WinML 43 с
• OnnxRuntime 10 с
• Tensorflow 12 с

Вывод на ЦП занимает около 86 с ,

В инструментах производительности WinML, похоже, неправильно использует графический процессор по сравнению с другими. Казалось, что WinML использует DirectML в качестве бэкэнда (мы наблюдаем префикс DML на профилировщике Nvidia GPU). Можно ли использовать Cuda Inference Engine с WinML? Кто-нибудь видел подобный результат, WinML ненормально медленно работает на GPU?

Answer 1

Я получил ответ об этой производительности WinML. Моя сеть использует LeakyRelu, которая поддерживалась DirectML только в Windows 2004. В Windows предыдущей версии эта проблема отключает использование метакоманды DirectML, что приводит к снижению производительности. С новой версией windows я получил хорошую производительность с WinML.