Я не проверял, как это сделать в TensorFlow 2, но я реализовал это в TF-1 год назад.
Вы можете проверить это python Записная книжка
здесь я объединил две модели Xception в одну, усредняя их выходной сигнал из слоя softmax (с помощью техники ансамбля.)
Для модели Keras (h5) вам необходимо преобразовать эту модель из формата h5 в формат ckpt, чтобы использовать приведенный выше код, используя tf.Saver .