Я тренирую модель LSTM, которая генерирует музыку c. Во время выполнения эпох, в самой первой эпохе, statorical_accuracy достигает 70% от 0,1%, а потери достигают 0,5 из 11. Сводка моей модели приведена ниже.
Model: "sequential_1"
_________________________________________________________________
Layer (type) Output Shape Param #
=================================================================
lstm_1 (LSTM) (None, 1024, 512) 1716224
_________________________________________________________________
lstm_2 (LSTM) (None, 1024, 512) 2099200
_________________________________________________________________
lstm_3 (LSTM) (None, 1024, 512) 2099200
_________________________________________________________________
batch_normalization_1 (Batch (None, 1024, 512) 2048
_________________________________________________________________
dropout_1 (Dropout) (None, 1024, 512) 0
_________________________________________________________________
dense_1 (Dense) (None, 1024, 256) 131328
_________________________________________________________________
activation_1 (Activation) (None, 1024, 256) 0
_________________________________________________________________
batch_normalization_2 (Batch (None, 1024, 256) 1024
_________________________________________________________________
dropout_2 (Dropout) (None, 1024, 256) 0
_________________________________________________________________
dense_2 (Dense) (None, 1024, 256) 65792
_________________________________________________________________
activation_2 (Activation) (None, 1024, 256) 0
_________________________________________________________________
batch_normalization_3 (Batch (None, 1024, 256) 1024
_________________________________________________________________
dense_3 (Dense) (None, 1024, 325) 83525
_________________________________________________________________
activation_3 (Activation) (None, 1024, 325) 0
=================================================================
Total params: 6,199,365
Trainable params: 6,197,317
Non-trainable params: 2,048
_________________________________________________________________
None
Мои примерные входные данные выглядят следующим образом
[0, 2, 247, 3, 3, 3, 3, 2, 292, 3, 3, 3, 3, 2, 131, 43, 14, 3, 3, 2, 292, 3, 3, 3, 3, 2, 119, 3, 3, 3, 3, 2, 292, 3, 3, 3, 3,1]
0 представляет начало песни 2 представляет начало аккорда 3 представляет примечания наполнителя. Здесь есть пять пунктов после каждых 2, если примечание присутствует, индекс примечания будет помещен после 2, если аккорд с 3 ключами присутствует, то их индекс примечания будет помещен после 2 последовательно. Вы можете увидеть это в примере выше. Максимум пять ключей могут прийти после 2. Мой вопрос: почему точность увеличивается так быстро? Это связано с большим числом 3 во входной последовательности?
Epoch 1/10
@on_epoch_end saving model to disk
60/60 [==============================] - 333s 6s/step - loss: 1.7088 - categorical_accuracy: 0.7253 - val_loss: 0.7768 - val_categorical_accuracy: 0.8312
Epoch 2/10
@on_epoch_end saving model to disk
60/60 [==============================] - 334s 6s/step - loss: 0.5567 - categorical_accuracy: 0.8739 - val_loss: 0.5930 - val_categorical_accuracy: 0.8590
Epoch 3/10
@on_epoch_end saving model to disk
60/60 [==============================] - 330s 5s/step - loss: 0.3699 - categorical_accuracy: 0.9123 - val_loss: 0.6347 - val_categorical_accuracy: 0.8569
Epoch 4/10
@on_epoch_end saving model to disk
60/60 [==============================] - 333s 6s/step - loss: 0.1936 - categorical_accuracy: 0.9544 - val_loss: 0.5919 - val_categorical_accuracy: 0.8491
Epoch 5/10
@on_epoch_end saving model to disk
60/60 [==============================] - 330s 6s/step - loss: 0.1066 - categorical_accuracy: 0.9751 - val_loss: 0.3182 - val_categorical_accuracy: 0.9005
Epoch 6/10
@on_epoch_end saving model to disk
60/60 [==============================] - 337s 6s/step - loss: 0.0661 - categorical_accuracy: 0.9851 - val_loss: 0.1884 - val_categorical_accuracy: 0.9429
Epoch 7/10
@on_epoch_end saving model to disk
60/60 [==============================] - 340s 6s/step - loss: 0.0489 - categorical_accuracy: 0.9892 - val_loss: 0.0788 - val_categorical_accuracy: 0.9811
Epoch 8/10
@on_epoch_end saving model to disk
29/60 [=============>................] - ETA: 2:31 - loss: 0.0434 - categorical_accuracy: 0.9894