Для интеграции CPP мы используем TensorFlow lib отсюда https://www.tensorflow.org/install/lang_c
Как мы увидели, что первый запуск сеанса TensorFlow отнимает много времени для нашей конкретной модели, он занял 20 с, а в следующий раз - 200 мс. Мы сильно ограничены во времени для вывода, а также мы должны обслуживать несколько запросов, поэтому мы решили сделать следующий трюк:
Использовать разветвленные процессы, чтобы обслуживать наш TensorFlow для параллельных запросов. Инициируйте сеанс TensorFlow и запустите пустой вывод в первый раз в основном процессе и, таким образом, при следующем запуске сеанса в разветвленном процессе. Но он застрял без какого-либо сообщения об ошибке.
Есть ли способ справиться с такой проблемой.
Любое предложение приемлемо.