Какой порог h2o.predict () использует в новом тестовом наборе?

Question

Я прочитал несколько веток здесь относительно различий h2o.predict () и h2o.performance () (как видно из ссылки ниже).

Как интерпретировать вероятности (p0,p1) результата h2o.predict ()

Может кто-нибудь сказать мне, какой порог использует h2o.predict ()?Это max f1?Если да, то является ли это порогом из данных обучения, данных проверки или перекрестной проверки?

Я пытался использовать порог проверки, используя max f1 и max f0point5 в наборе тестирования (полностью отделенном от обучения и проверки)данные), но предсказанный класс из h2o.predict () и класс, использующий порог, не полностью совпадают.

Самый близкий, который я получил, это использовать порог max f0point5 для обучения и применить его к тестированиюset.

На h2o.predict не так много документации.Кроме того, есть ли лучшая практика для порога, то есть среднего порога валидации и обучения и т. Д.?

Заранее спасибо!

Answer 1

Вот особенности выбора порога прогнозирования, когда пользователь запускает h2o.predict() или .predict():

1), если вы тренируете модель только с данными обучения - порог Max F1 изИспользуется метрика модели данных поезда.

2) если вы тренируете модель с данными поезда и валидации - используется порог Max F1 из метрик модели данных валидации.

3) если вы тренируетесьмодель с данными поезда и настройкой параметра nfold - используется пороговое значение Max F1 из метрик модели данных поезда.

4) если вы тренируете модель с данными поезда, данными проверки и устанавливаете параметр nfold -используется порог Max F1 из метрик модели данных проверки.