Зависит ли квадратичная ошибка от количества скрытых слоев?

Question

Я хотел бы знать, зависит ли квадратичная ошибка также от количества скрытых слоев и числа нейронов на каждом скрытом слое, потому что я создал сеть нейронов с одним скрытым слоем, но не могу достичь небольшого квадратаошибка, так может функция не выпуклая?Могу ли я оптимизировать вес, добавив больше скрытых слоев?

Answer 1

Хотя это не вопрос программирования, я постараюсь ответить на него здесь.

Квадратная ошибка, т. Е. «Потеря» вашей нейронной сети, зависит от вашего прогноза нейронной сети иназемная правда.И это выпукло из своего определения.

Причины, по которым вы не получаете низкие потери, могут быть:

1. Вы не нормализуете свои входные данные.Например, если вы получили в качестве входных данных серию цен на жилье, которая составляет около 500 тыс. К 1 млн, и вы не нормализовали их, ваш прогноз будет представлять собой линейную комбинацию цен, которая примерно того же порядка, топройти через функцию активации.Это может привести к большим потерям.

2. Вы неправильно инициализируете свои веса и смещения.Как и выше, у вас могут быть большие веса / смещения, которые приводят к большим значениям прогноза.

3. Вы не выбрали правильную функцию активации.Когда вы выполняете классификацию, ваши метки обычно имеют горячее кодирование, поэтому ваши функции активации должны ограничивать прогноз до [0,1] или аналогичного, поэтому relu не будет подходящим вариантом.Также вы не хотите, чтобы сигмоид активировал проблемы регрессии.

4. Ваши метки непредсказуемы или имеют слишком много шума.Или, может быть, ваша сеть недостаточно сложна для захвата важных шаблонов, в этом случае вы можете попробовать добавить больше слоев и больше узлов на слой.

5. Ваша скорость обучения слишком мала, это приводит кмедленная конвергенция.

Это все, что я имею в виду.Возможно, вам нужно больше работы, чтобы выяснить причину вашей проблемы.

Answer 2

Чем больше нейронов (например, слоев) вы добавите в модель, тем лучше вы сможете аппроксимировать произвольные функции.Если ваша потеря данных о тренировках больше не уменьшается, то вы недостаточно приспособлены .Это можно решить, сделав модель более сложной, то есть добавив больше обучаемых параметров.Но вы должны быть осторожны, чтобы не переусердствовать и в итоге не переиграть .