У меня возникла проблема с сохранением веса TFBertModel в Keras. проблема описана здесь, в выпуске GitHub и здесь, в Stack Overflow . В обоих случаях предлагается использовать
config = BertConfig.from_pretrained(transformer_model_name)
bert = TFBertMainLayer(config=config,trainable=False)
вместо
bert = TFBertModel.from_pretrained(transformer_model_name, trainable=False)
Проблема в том, что когда я меняю свою модель на прежний код, точность снижается на 10 процентов. Хотя количество параметров в обоих случаях одинаковое. Интересно, в чем причина и как ее предотвратить?