Я пытаюсь преобразовать обученную модель из файла контрольных точек в tflite. Я использую tf.lite.LiteConverter. Конвертация с плавающей точкой прошла нормально с разумной скоростью вывода. Но скорость вывода преобразования INT8 очень низкая. Я пытался отлаживать, кормя в очень маленькой сети. Я обнаружил, что скорость вывода для модели INT8, как правило, медленнее, чем для модели с плавающей запятой.
В файле INT8 tflite я обнаружил некоторые тензоры с именем ReadVariableOp, которых нет в официальной модели TensorFlow для мобильной сети tflite.
Интересно, что вызывает медленный вывод INT8.