Разница между гиперпараметром и эвристикой в ​​машинном обучении?

Question

В чем разница между гиперпараметром и эвристикой в ​​контексте машинного обучения. Если вы не изучаете параметр и вместо этого решаете его заранее, разве это не действует как эвристика?

Если бы кто-нибудь мог дать четкое определение каждого из них и сравнение было бы замечательно! Я надеюсь, что в этом случае я не сравниваю яблоки с апельсинами.

Answer 1

Интересная мысль! Наиболее четкое различие между эвристикой и гиперпараметром состоит в том, что эвристика - это функция, которая полезна в задачах поиска, она используется для быстрого взвешивания различных решений, в то время как гиперпараметр по существу «жестко закодирован» в модели, поэтому не помогает поиск вообще.

Однако, если вы определите эвристическую функцию, которая просто возвращает постоянный гиперпараметр, то мы действительно можем сказать, что эта эвристическая функция действительно совпадает с гиперпараметром. Мы обычно не рассматриваем это таким образом, поскольку такая эвристическая функция (которая всегда возвращает константу) не помогает в поиске оптимальных параметров.