Я хочу понять, автоматический поиск нейронной архитектуры (NAS).Я уже прочитал несколько статей, но я не могу понять, каково реальное пространство поиска NAS / как учитываются классические гиперпараметры в NAS?
Мое понимание:
- Цели NASчтобы найти хорошо работающую модель в пространстве поиска всех возможных архитектур моделей, используя определенную стратегию поиска и оценки производительности.
- Существуют гиперпараметры для конкретной архитектуры (в наиболее простом случае сети с прямой связью)например, количество скрытых слоев, количество скрытых нейронов на слой, а также тип функции активации на нейрон
- Существуют классические гиперпараметры, такие как скорость обучения, скорость отсева и т. д.
Что я не понимаю, так это:
Что именно является частью архитектуры модели, как определено выше?Это только специфичные для архитектуры гиперпараметры или также классические гиперпараметры?Другими словами, что охватывает пространство поиска в NAS: только гиперпараметры, специфичные для архитектуры, или также классические гиперпараметры?
В случае, если только гиперссылка специфична для архитектурыпараметры являются частью пространства поиска NAS, как насчет классических гиперпараметров?Определенная архитектура (с фиксированной конфигурацией специфичных для архитектуры гиперпараметров) может работать лучше или хуже в зависимости от классических гиперпараметров - поэтому игнорирование классических гиперпараметров в пространстве поиска NAS может привести коптимальная конечная модель архитектуры или нет?