У меня небольшое замешательство по поводу метода RandomizedSearchCV для настройки гиперпараметров. Я кратко рассмотрю здесь метод для ясности:
В отличие от GridSearchCV, который сканирует все возможные значения комбинации гиперпараметров, RandomizedSearchCV выбирает только конечное подмножество (установленное n_iter) сетки. Поскольку он выбирает эти конечные комбинации, используя распределение гиперпарама, которое мы даем в качестве входных данных, эффективность этого метода сильно зависит от того, какое распределение гиперпарама мы задаем в качестве входных данных.
Например, мы выбираем, что гиперпараметры $ \ alpha $ равномерно распределены между $ [0,40] $ и $ n_iter = 10 $, тогда RandomizedSearch будет рисовать равномерно $ 10 $ точек и проверять, что является Лучший.
Если мы выберем другое распределение для $ \ alpha $, например, нормальное распределение $ \ mathcal {N} (\ mu, \ sigma) $ с центром вокруг $ \ mu = 4 $ и с $ \ sigma = 0.5 $, и все равно $ n_iter $, тогда RandomizedSearch по-прежнему будет рисовать 10 точек, но теперь пригвоздит нарисованные точки к среднему значению, что означает, что он, скорее всего, выберет такие точки, как $ 9,11,12,11.5, \ cdots $.
Теперь возникает вопрос: как мы выбираем это распределение или как мы априори знаем, как распределяются гиперпараметры?
Спасибо!