неверно ли изменять параметры модели после ее обучения?

Question

Я пытался использовать средний ансамбль для группы моделей, которые я обучал ранее (я создаю новую модель в ансамбле для каждой предварительно обученной модели, которую я использую, а затем загружаю в нее обученные веса, это неэффективно таким образом я знаю, но я только узнаю об этом, так что это не имеет особого значения). и я по ошибке изменил некоторые параметры сети при загрузке моделей в код ансамбля, например, использовал Relu вместо leakyRelu, который я использовал при обучении моделей, и другое значение для регуляризатора l2 в плотном слое в одной из моделей. Однако это дало мне лучшую точность тестирования ансамбля. не могли бы вы объяснить мне, если / как это неверно, и если это нормально, могу ли я использовать этот метод для дальнейшего повышения точности ансамбля.

Answer 1

Я считаю, что НЕ правильно менять модель parameters после ее обучения. parameters здесь я имею в виду trainable-parameters как веса в узле Dense, но не гиперпараметры, такие как скорость обучения.

Что такое обучение?

Обучение по сути al oop, который постоянно изменяет или обновляет parameters. Он обновляет parameter таким образом, чтобы, по его мнению, уменьшить потери. Это также похоже на перемещение точки в гиперпространстве, функция потерь дает небольшую потерю на этой точке .

Меньшие потери означают большее накопление в целом.

Изменение веса

Итак, теперь, изменяя ваши значения parameters, случайно или намеренно, это похоже на перемещение этой точки куда-нибудь, НО у вас нет логической причины, по которой такое движение принесет вам меньший убыток . Вы просто случайным образом блуждаете по этому гиперпространству, и в вашем случае вам просто повезло, что вы приземлились на какую-то точку , которая, таким образом, дала вам меньшую потерю или лучшую точность тестирования. Это просто удача.

Изменение функции активации

Кроме того, изменение функции активации с leakyRelu на relu похоже на случайное изменение формы вашего хайп-пространство. Даже если вы находитесь в некоторой точке ландшафт меняется, у вас все еще нет логических оснований полагать, что при таком изменении ландшафта вы можете иметь меньшие потери, оставаясь на той же точке

При смене модели вручную нужно переучиваться.

Answer 2

Хотя вы меняли параметры сети при загрузке моделей. Изменение гиперпараметров базовых моделей вашего ансамбля не является неправильным. В некоторых случаях модели, которые используются в методе ансамбля, требуют уникальных настроек, которые, как вы упомянули, могут дать «лучшую точность тестирования для модели ансамбля».

Чтобы ответить на второй вопрос, вы можете используйте этот метод для дальнейшего повышения точности ансамбля, вы также можете использовать байесовскую оптимизацию, GridSearch и RandomSearch, если вы предпочитаете более автоматизированные средства настройки ваших гиперпараметров.