Это может случиться.
Как только вы конвертируете свою модель keras .h5 в .caffemodel, веса копируются численно. Но внутри вы загрузите свою модель в Caffe, а не в Keras.
Так как caffe и keras - две разные библиотеки, их внутренние алгоритмы могут немного отличаться. Также, если вы измените свою схему предварительной обработки, это также может изменить результат. Обычно, если вы используете сокращение (для оптимизации размера), производительность может быть go низкой, в странном случае это можно рассматривать как крайнюю регуляризацию и действовать как повышение производительности в тесте.