Как можно объединить модели глубокого обучения, полученные с помощью перекрестной проверки?

Question

Я тренирую модель глубокого обучения keras с трехкратной перекрестной проверкой. Для каждого фолда я получаю модель с наилучшими характеристиками, и в конце мой алгоритм выдает комбинированные оценки трех лучших моделей. Теперь у меня вопрос: есть ли возможность объединить 3 модели в конце или было бы правильным решением просто взять самую эффективную модель из этих 3 моделей?

Answer 1

(более) правильное отражение вашей эффективности в вашем наборе данных будет означать усреднение N кратных результатов в вашем наборе проверки.

Согласно трем полученным моделям, вы можете иметь средний прогноз (голосованиеансамбль) для новой точки данных. Другими словами, всякий раз, когда приходит новая точка данных, прогнозируйте все три модели и усредняйте результаты.

Обратите внимание на очень важную вещь: Цель перекрестной проверки в K-кратном порядке - проверка модели, не модель здания . Используя K-кратную перекрестную проверку, вы гарантируете, что при случайном разделении данных, скажем, на 80-20 процентов, вы не создадите очень простой набор тестов. Создание очень простого тестового набора привело бы к тому, что разработчик решил, что у него очень хорошая модель, и когда он подвергнется тестовым данным, модель будет работать намного хуже.

По сути и, в конечном итоге, то, что вы хотитедля этого нужно взять все данные, которые вы используете для обучения и тестирования, и использовать их только для обучения.