Чтобы оптимизировать модель, мы можем либо использовать градиентный спуск для обучения модели с набором данных, либо мы можем использовать нейронную эволюцию и генерировать только первые инициализированные веса, не обучая их, и использовать генетическую эволюцию для оптимизации их детей.
На самом деле я использую градиентный спуск, и даже если я использую одну и ту же архитектуру слоев, один и тот же обучающий набор данных и один и тот же набор тестовых данных, моя потеря может быть разной для двух разных моделей, и поведение моих моделей незначительно отличаетсяих окружение.
Поэтому мне интересно, можем ли мы объединить нейронную эволюцию и градиентный спуск, чтобы идеально оптимизировать модель?
Идея, например, создать группу из 100 моделей, обучить ихв одном и том же наборе данных за 5 эпох, а затем использовать генетическую эволюцию, чтобы выбрать только лучшие результаты и приблизиться к идеальному поведению для данной ситуации?