После перекрестной проверки можно протестировать модель на независимых данных.

Question

Я хочу выполнить случайную модель леса, поэтому я разделил свои данные на 70% для поезда и 30% для теста. Я применил процедуру перекрестной проверки к своим данным поезда (70%) и получил точность для перекрестной проверки. После этого я проверяю свою модель на тестовых данных (30%), затем у меня есть еще одно уточнение.

Итак, я хочу знать, является ли это хорошим подходом для проверки надежности моей модели, и какова интерпретация этих двух точности.

Заранее спасибо.

Answer 1

Вам не нужно выполнять перекрестную проверку при построении модели RF, так как RF рассчитывает собственную оценку CV, известную как оценка OOB. Фактически, результаты, которые вы получаете из модели (матрица путаницы в model_name$confusion), основаны на показателях OOB.

Вы можете использовать оценки OOB (и различные метрики, полученные из них, такие как Precision, Recall и т. Д.), Чтобы выбрать модель из списка моделей (например, модели с различными параметрами / аргументами), а затем использовать данные испытаний, чтобы проверить, хорошо ли обобщена выбранная модель.