Как можно целенаправленно одеть NN?

Question

Я построил простое обучение NN на одном входе, напр. [0,1] к выходному сигналу [0,1,0,1 ...] Цель этого NN состояла в том, чтобы увидеть, насколько хорошо NN может запомнить данные. Все работает правильно, но примерно через 3-5 эпох NN перестает учиться и застревает с потерей 0,4865. Я попытался изменить размер NN, оптимизатора, и даже создал свою собственную простую функцию потерь, чтобы попытаться лучше понять, что происходит. Я относительно новичок в ML, вы, ребята, могли бы помочь мне выяснить, в чем дело, что было бы замечательно, и если бы вы также могли объяснить, почему он это делает, это было бы очень признательно.

def loss(Y1,Y2):
return abs(Y1-Y2)

model = keras.Sequential([
    keras.layers.Dense(1, activation='tanh'),
    keras.layers.Dense(1000, activation='tanh'),
    keras.layers.Dense(1000, activation='tanh'),
    keras.layers.Dense(400, activation='softmax')
])

model.compile(optimizer=keras.optimizers.RMSprop(lr=0.01, rho=0.9, epsilon=None, decay=0.0),
             loss=loss)

history = model.fit(X, Y, epochs=1000, batch_size=10)