Я не слишком убежден, что классы оптимизации параметров, предоставляемые sklearn, на самом деле GridSearchCV (http://scikit -learn.org / stable / modules / generate / sklearn.model_selection.GridSearchCV.html # sklearn.model_selection .GridSearchCV ) просто перебирает параметры, которые я передаю через param_grid. RandomizedSearch (http://scikit -learn.org / stable / modules / генерируется / sklearn.model_selection.RandomizedSearchCV.html ) мне кажется we-gave-up -подходом.
Один из моих подходов заключался в повторном использовании адаптивной интеграции функции (используемой в числовой математике): в основном уменьшать пространство поиска параметра в каждой итерации, пока не будет достигнут определенный порог ошибки. Наибольшим преимуществом этого метода является то, что ошибка также уменьшается на каждой итерации.
Проблема в том, что некоторые значения параметров могут быть не затронуты, если вы рассматриваете различные значения оценки (precision, roc-auc и т. Д.) Как функции. Я все еще получил хорошие результаты в одном случае, но не так хорошо в других случаях.
Каким будет хороший математический подход для оптимизации значений, более эффективных, чем GridSearch и RandomizedSearch?