Моим первым предложением было бы использовать Re sNet (сеть, которая содержит остаточные соединения) в качестве первого шага к улучшению, чтобы избежать проблемы исчезающего градиента.
VGG стали менее используемыми больше не актуальны для бенчмаркинга. Вместо этого вам следует использовать ResNet50, который доступен в tensorflow.keras.applications
вместе с другими соответствующими предварительно обученными нейронными сетями.
Кроме того, точность валидации сильно колеблется; в дополнение к ранее упомянутому возможному улучшению, вы можете перепроверить конструкцию ваших обучающих и проверочных наборов.