Заседание TensorFlow c ++ используется совместно для разветвленных процессов - PullRequest
1 голос
/ 30 октября 2019

Для интеграции CPP мы используем TensorFlow lib отсюда https://www.tensorflow.org/install/lang_c

Как мы увидели, что первый запуск сеанса TensorFlow отнимает много времени для нашей конкретной модели, он занял 20 с, а в следующий раз - 200 мс. Мы сильно ограничены во времени для вывода, а также мы должны обслуживать несколько запросов, поэтому мы решили сделать следующий трюк:

Использовать разветвленные процессы, чтобы обслуживать наш TensorFlow для параллельных запросов. Инициируйте сеанс TensorFlow и запустите пустой вывод в первый раз в основном процессе и, таким образом, при следующем запуске сеанса в разветвленном процессе. Но он застрял без какого-либо сообщения об ошибке.

Есть ли способ справиться с такой проблемой.

Любое предложение приемлемо.

...