Когда веса перестают обновляться?

Question

Я реализую градиентное снижение для задания и меня смущает вопрос, когда веса должны перестать обновляться.Прекращать ли я обновление весов, когда они не сильно меняются, то есть когда вес _i - вес _{предыдущий i} <= (некоторые пороги). </p>

Такжес тем, как я сейчас это реализую, Weight1 может быть закончен раньше Weight2.Это верно или все веса должны заканчиваться одновременно?

Answer 1

Если у вас есть доступ к градиенту, вы можете остановиться, когда l2-норма вашего градиента ниже некоторого порога, если нет, вы можете использовать свой метод на l2-норме разницы между вашими весами, обычно в этом В этом случае порог будет не абсолютным, а относительно || weight_i || + small_delta. Вы также можете найти эту ссылку полезной: https://math.stackexchange.com/questions/1618330/stopping-criteria-for-gradient-method Обратите внимание, что вам нужны некоторые предположения о природе вашей функции, которую вы минимизируете, чтобы гарантировать минимизацию (наличие минимума, отправной точки в бассейне притяжения, которая не является проблемой для сильно выпуклых функций, но в целом не соответствует действительности).

Answer 2

Для простоты вы останавливаетесь, когда затраты / потери минимизированы.

Вы должны распределить градиент, используя частную производную.