Я проверяю, какая архитектура лучше всего подходит для тонкой настройки моей модели. У меня есть три разных тестовых случая: слой CuDNNLSTM, слой CuDNNGRU и плотный слой со сглаженным входом. У всех есть 64 узла.
Мои входные данные представляют собой последовательность скоростей из автомобиля длиной 50 длин, а мои выходные данные должны предсказать процентное содержание газа и тормоза. Все данные были нормализованы от 0 до 1.
Однако, неожиданно, если я сглаживаю свои данные, чтобы я мог использовать плотный слой, кажется, что он работает значительно лучше через 5 эпох. Это случайность или просто плотный слой может превзойти выделенные повторяющиеся слои в некоторых случаях?
Плотность:
Epoch 1/5
462280/462280 [==============================] - 4s 8us/step - loss: 0.0090 - mae: 0.0716 - val_loss: 0.0072 - val_mae: 0.0586
Epoch 2/5
462280/462280 [==============================] - 3s 7us/step - loss: 0.0062 - mae: 0.0610 - val_loss: 0.0053 - val_mae: 0.0581
Epoch 3/5
462280/462280 [==============================] - 3s 6us/step - loss: 0.0056 - mae: 0.0575 - val_loss: 0.0056 - val_mae: 0.0624
Epoch 4/5
462280/462280 [==============================] - 3s 8us/step - loss: 0.0052 - mae: 0.0553 - val_loss: 0.0047 - val_mae: 0.0547
Epoch 5/5
462280/462280 [==============================] - 3s 6us/step - loss: 0.0050 - mae: 0.0543 - val_loss: 0.0049 - val_mae: 0.0578
LSTM:
Epoch 1/5:
462280/462280 [==============================] - 10s 22us/step - loss: 0.0105 - mae: 0.0793 - val_loss: 0.0083 - val_mae: 0.0709
Epoch 2/5
462280/462280 [==============================] - 9s 19us/step - loss: 0.0083 - mae: 0.0703 - val_loss: 0.0083 - val_mae: 0.0717
Epoch 3/5
462280/462280 [==============================] - 8s 18us/step - loss: 0.0083 - mae: 0.0697 - val_loss: 0.0082 - val_mae: 0.0704
Epoch 4/5
462280/462280 [==============================] - 9s 18us/step - loss: 0.0082 - mae: 0.0697 - val_loss: 0.0081 - val_mae: 0.0666
Epoch 5/5
462280/462280 [==============================] - 8s 18us/step - loss: 0.0076 - mae: 0.0672 - val_loss: 0.0065 - val_mae: 0.0647
ГРУ:
Epoch 1/5
462280/462280 [==============================] - 11s 25us/step - loss: 0.0095 - mae: 0.0746 - val_loss: 0.0084 - val_mae: 0.0731
Epoch 2/5
462280/462280 [==============================] - 10s 22us/step - loss: 0.0084 - mae: 0.0701 - val_loss: 0.0082 - val_mae: 0.0692
Epoch 3/5
462280/462280 [==============================] - 10s 21us/step - loss: 0.0083 - mae: 0.0696 - val_loss: 0.0081 - val_mae: 0.0692
Epoch 4/5
462280/462280 [==============================] - 10s 21us/step - loss: 0.0082 - mae: 0.0692 - val_loss: 0.0081 - val_mae: 0.0696
Epoch 5/5
462280/462280 [==============================] - 10s 21us/step - loss: 0.0083 - mae: 0.0692 - val_loss: 0.0083 - val_mae: 0.0717