Без сохранения и загрузки файла в ваш код трудно сказать, в чем проблема. Если я хорошо понял, вы сохранили свои веса в файле h5py?
Я думаю, что всегда легче сохранить целую обученную модель, чем только веса:
from keras.models import load_model
model.save('my_model.h5') # creates a HDF5 file 'my_model.h5'
# returns a compiled model
# identical to the previous one
model = load_model('my_model.h5')