Я бы сказал три вещи.
1) проверьте torchvision.models ссылка там вы можете найти отличные модели с предварительной подготовкой, которые дадут вам отличную производительность, если вы установите слои, которые не требуютградиенты и просто измените последний слой, чтобы иметь правильное количество классов
2) играть с преобразованиями при загрузке изображений ссылка это может помочь вам
3) играть с номеромиз последних слоев, другой оптимизатор и попробуйте планировщик ссылка (это отрегулирует скорость обучения во время тренировки для лучшей подгонки)
Надеюсь, это поможет:)