Какой правильный подход для оценки модели с использованием перекрестной проверки по K-кратному критерию для нескольких семян?

Question

Я тренирую модель глубокого обучения с использованием 5-кратного CV на трех случайных начальных значениях (случайные начальные числа предназначены для инициализации модели, CV разбивается один раз). Для каждого раза я сохраняю лучшую модель. Следовательно, я получаю 15 моделей после моделирования. Чтобы оценить эффективность, я беру лучшую из этих 15 моделей (без изменений в течение всего процесса оценки) и оцениваю ее, используя контрольную оценку всех 5-кратных оценок для каждого семени. Затем я усредняю ​​результаты по этим семенам.

Я хотел бы знать, правильно ли я здесь поступаю.

Я читал, что есть два способа вычисления производительности CV: [1] пул, где производительность рассчитывается глобально по объединению всех наборов тестов [2], где производительность вычисляется для каждого набор тестов отдельно, результаты которого являются средними из них.

Я намерен использовать второй метод (усреднение).

Answer 1

Да, вы можете использовать метод усреднения для 5-кратного резюме, но я не понимаю, что вы подразумеваете под "Для каждого фолда я сохраняю лучшую модель". Более того, трех случайных начальных значений недостаточно. Вы должны использовать как минимум 10 различных значений и построить график для соответствующих результатов по этим семенам.