Как ускорить модель Tensorflow 2 keras для вывода? - PullRequest
2 голосов
/ 08 ноября 2019

Итак, в настоящее время произошло большое обновление, которое перешло с TensorFlow 1.X на 2.X.

В TF 1.XI появился конвейер, который помог мне запустить мою модель keras в производство. Конвейер: keras (h5) model --> freeze & convert to pb --> optimize pb Этот рабочий процесс помог мне ускорить вывод, и моя окончательная модель могла бы хранить один (pb) файл, а не папку ( см. Формат SavedModel ).

Как я могу оптимизировать свою модель для вывода в TensorFlow 2.0.0?

Моим первым впечатлением было то, что мне нужно преобразовать мою модель tf.keras в tflite, но поскольку мой GPU использует операции float32это обращение сделает мою жизнь еще сложнее.

Спасибо.

...