Resnet50 не сходится. VGG16 работает отлично

Question

Я обучил одну регрессию сеть, используя resnet50 в качестве магистрали. вход сети является изображением, размер которого 224 * 224 * 3 , выход сети равен одно значение , варьируется от 0 до 1 .

, но сеть не может сходиться, независимо от того, я использую сигмоид или relu в качестве активация выходного слоя. mae или mse as функция потерь .

Например, я использую resnet50 в качестве магистрали, mae в качестве функции потерь, сигмоид - это функция активации выходного слоя. SGD в качестве оптимизатора. Потеря обучения составит:

Epoch 1 training loss is 0.4900， val_loss is 0.4797

Epoch 2 training loss is 0.4923, val_loss is 0.4794

Epoch 3 training loss is 0.4923, val_loss is 0.4783

...

Epoch 35 training loss is 0.4923, val_loss is 0.4771

Потеря тренировки не изменится, она постоянна 0,4923. val_loss всегда около 0,47. Я тестировал различные оптимизатор , скорость обучения . сеть до сих пор не сходится.

Когда я использую VGG16 или Mobil enet в качестве магистрали, сеть сходится. Может ли кто-нибудь дать мне несколько советов о том, как я могу решить эту проблему.

Answer 1

Можете ли вы как-то проверить, правильно ли реализована магистраль Resnet50. Возможно, попробуйте обучить его на MNIST и посмотреть, работает ли он вообще.

Мне кажется, что Re sNet varaint просто выводит некоторое среднее значение вместо того, чтобы изучать реальную проблему.

Можете ли вы дать больше информации о том, чего вы хотите достичь. Как выглядит ваша регрессия и какой вклад ожидается от магистрали. Также вы можете захотеть взглянуть на подобную работу (если она существует) и прочитать, какие архитектуры они использовали и какие гиперпараметры.