Точность резко уменьшается после добавления пользовательской функции потери

Question

def custom_loss(lmbda , regularizer_value):
  def loss(y_true , y_pred):
    return K.categorical_crossentropy(y_true ,y_pred) + lmbda * regularizer_value
  return loss


  model_loss = custom_loss(lmbda= 1 , regularizer_value=regularizer_value)

  model.compile(loss=model_loss,optimizer='adam',metrics=['categorical_accuracy'])

При категориальной кросс-энтропии точность составляет около 90%, но теперь она снижается до 10% даже после 100 эпох.