Когда я делаю реализацию градиентного спуска, я вижу, что она сходится (что я думаю!) Для определенного значения альфа и # итераций.
Тем не менее, при сохранении альфа-уровня, если я увеличиваю количество итераций, я вижу небольшое увеличение функции стоимости при больших итерациях. Если я уменьшу альфу сейчас, это снова будет выглядеть как сходимость, но когда я увеличу число итераций, функция стоимости снова немного увеличится.
Следующее для альфа = 0,07 и итераций = 10000
Следующее для альфа = 0,07 и итераций = 30000
Это нормально или что-то не так в моей реализации? Я также сохраняю штраф за регуляризацию в обоих случаях.