Как сделать вывод для модели FP16 TensorFlow с нефиксированной формой ввода в C ++?

Question

Модель обучалась на Python. Я смотрел по-разному, но ударил стену здесь или там. Я резюмирую, как показано ниже, и, пожалуйста, поправьте меня, если я ошибаюсь

+--------------------+-----+-------+-----------------+
|                    | C++ | FP 16 | non-fixed shape |
+--------------------+-----+-------+-----------------+
| TensorFlow C++ API | ✓   | ?     | ✓               |
| TensorRT           | ✓   | ✓     | X               |
| TF-TRT             | X   | ✓     | ✓               |
+--------------------+-----+-------+-----------------+

• По крайней мере, TensorRT 5.1 по-прежнему не поддерживает нефиксированную форму ввода
• TF-TRT = тензор потока / тензоррт и на данный момент он доступен только в Python
• Мне известно о TensorRT Inference Server, но я не хочу вдаваться в решение на основе сетевых коммуникаций, если мне не нужно

"?" в таблице означает взаимодействие с Eigen::half в tenorflow / core / kernels (например, внутри conv_2d_gpu_half.cu.cc ) для достижения арифметики FP 16 с TensorFlow C ++. Я не вижу много документации по этому вопросу, но разве это единственный путь?

(Я согласен с преобразованием моей модели в другие фреймворки, такие как MXNet, но, похоже, применяются аналогичные ограничения: просто измените TensorFlow C ++ API → MXNet C ++ Package , TensorRT → TVM и TF-TRT → MXNet-TensorRT в таблице)