Как сделать стохастический градиентный спуск, не в конечном итоге убить все веса

Question

Стохастический градиентный спуск, насколько я понимаю, реализован следующим образом:

Активировать сеть, прочитать выходные нейроны, сравнить с желаемым выходом, вычислить производные по весам, обновить веса, активировать с новым примером.

Однако, допустим, у меня есть следующий набор данных:

[
  { input: [0, 0], output: [0] },
  { input: [0, 1], output: [0] },
  { input: [1, 0], output: [0] },
  { input: [1, 1], output: [1] },
]

Так что, если я обновлю веса, чтобы уменьшить выходной нейрон в 3 из 4 случаев, в конечном счете, со временем я будуустановите мои веса, чтобы получить выходной сигнал 0 или близкий к нему.

Какой механизм гарантирует, что я получу выходной сигнал 1, если оба входных нейрона активируются с помощью 1?

Answer 1

Я не уверен, есть ли способ сделать это. Но когда у вас есть набор данных, для которого вам нужно выполнить задачу классификации, рекомендуется убедиться, что у вас есть почти равномерное распределение классов в наборе данных.