Как сделать вывод для модели FP16 TensorFlow с нефиксированной формой ввода в C ++? - PullRequest
1 голос
/ 21 мая 2019

Модель обучалась на Python. Я смотрел по-разному, но ударил стену здесь или там. Я резюмирую, как показано ниже, и, пожалуйста, поправьте меня, если я ошибаюсь

+--------------------+-----+-------+-----------------+
|                    | C++ | FP 16 | non-fixed shape |
+--------------------+-----+-------+-----------------+
| TensorFlow C++ API | ✓   | ?     | ✓               |
| TensorRT           | ✓   | ✓     | X               |
| TF-TRT             | X   | ✓     | ✓               |
+--------------------+-----+-------+-----------------+

"?" в таблице означает взаимодействие с Eigen::half в tenorflow / core / kernels (например, внутри conv_2d_gpu_half.cu.cc ) для достижения арифметики FP 16 с TensorFlow C ++. Я не вижу много документации по этому вопросу, но разве это единственный путь?

(Я согласен с преобразованием моей модели в другие фреймворки, такие как MXNet, но, похоже, применяются аналогичные ограничения: просто измените TensorFlow C ++ API → MXNet C ++ Package , TensorRT → TVM и TF-TRT → MXNet-TensorRT в таблице)

...