Предположим, у меня есть 2 tf.keras модели, которые работают с изображениями, и я хочу использовать эти модели в моей автономной программе C ++, которая непрерывно считывает изображения с 2 камер и запускает модель для каждого кадра. Каждая камера имеет разную частоту кадров, поэтому обе модели должны работать параллельно, им также необходимо использовать графический процессор. Каждая модель предсказывает разные вещи.
Приложение C ++ находится только на одном рабочем столе P C, оно не должно обслуживать предсказания для многих людей, поэтому обслуживание тензорного потока может быть избыточным или не быстрым? Я подозреваю, что это не быстро, потому что я видел, что он использует JSON для кодирования прогнозов, которые могут быть медленными для отправки или получения.
Я сохранил обе модели в формате SavedModel, и это может быть предсказано отлично в python.
Как я могу загрузить эти 2 модели и прогнозировать параллельно, используя один графический процессор, и максимально быстро в приложении C ++? Меня интересует только тот случай, когда прогноз - одно изображение или 2 изображения, а не пакет, как 32 изображения. Если есть способ заставить работать tenorflow или lite работать быстро, я тоже с этим согласен.
Бонус: метод не должен требовать сложной установки, которую должны делать пользователи. Думаете, что конечному пользователю придется установить мое приложение, и ему придется вручную устанавливать зависимости от tenorflow? Это непрактично.