Я изучаю нейронные сети и регуляризацию. Я заметил, что существует множество гиперпараметров, которые необходимо устанавливать вручную в зависимости от типа проблемы, которую вы пытаетесь решить, наборов данных, с которыми вы работаете, и т. Д. c.
Мне интересно, есть ли способ создать другую модель оптимизации, чтобы она автоматически находила лучшие гиперпараметры, необходимые для обучения? Я имею в виду, мы можем найти соответствующие веса с помощью градиентного спуска или другими методами. Итак, если мы сможем найти какую-то функцию стоимости по гиперпараметрам, разве мы не сможем сделать то же самое? В основном, как программа AI, настраивающая нашу модель AI.
Возможно ли что-то подобное или, по крайней мере, правильный вопрос? Может быть, это уже сделано в каком-то исследовании, о котором я не знаю?