Работает ли HyperbandCV и другие алгоритмы инкрементального поиска для моделей без part_fit и fir трубопроводов?

Question

Я глубоко погружался в страницы github и читал документацию, но я не до конца понимаю, будет ли HyperbandCV полезен для ускорения оптимизации гиперпараметров в моем случае.

Я использую конвейерную функциональность SKLearn. И я также тестирую такие модели, как LinearRegression (), которые не поддерживают part_fit;он должен использовать все данные, чтобы соответствовать параметрам одновременно. В этом случае можно ли использовать HyperbandCV? Если он используется, что именно оптимизирует, если, насколько я понимаю, ни в Pipeline, ни в указанных моделях не реализовано частичное соответствие. В API Hyperband, он гласит, что для его использования необходимо реализовать частичное_применение. Однако в другой документации говорится, что он может быть заменой RandomizedSearchCV, поскольку он просто тратит меньше времени на обучение малоэффективных моделей.

Если кто-нибудь сможет уточнить это для меня, это будет здорово.

Answer 1

На основании последних https://blog.dask.org/2019/09/30/dask-hyperparam-opt, HyperbandSearchCV требуются модели, реализующие partial_fit, потому что смысл использования HyperbandSearchCV состоит в том, чтобы избежать обучения на всех данных, чтобы принять решение о том, хороша ли модель. Отсюда и преимущество в скорости HyperbandSearchCV. То, как я интерпретирую сообщение в блоге, заключается в том, что, как только модель полностью обучена, HyperbandSearchCV больше не может делать ничего, что не нужно делать раньше. Тем не менее, это может быть верно для реализации Dask и не обязательно для гиперполосного алгоритма, описанного в оригинальной статье , которую я должен перечитать.