На графике, который вы предоставили, похоже, что ваша модель переоснащается примерно с 20-й эпохи. Это имеет смысл, поскольку у вас есть только 600 изображений.
Я бы посоветовал вам поближе взглянуть на график для первой эпохи, и прекратите обучение раньше, чтобы сохранить модель с наименьшими потерями при проверке. Увеличение данных может также помочь отсрочить начало перенастройки.