Я новичок в построении моделей с использованием перекрестной проверки, но в настоящее время я работаю с относительно небольшим набором данных (n = 70), где я хотел бы попробовать применить эту технику.
На основеНасколько я понимаю, одним из подходов к этому было бы выполнение перекрестной проверки вложенных k-кратных значений, когда внутренние и внешние сгибы нацелены на указание модели и гиперпараметров модели соответственно. Количество сгибов, по-видимому, эмпирически определено как k = 5 или k = 10, чтобы оптимизировать любые отношения отклонения.
Мой вопрос (ы) такой: Существует ли размер выборки, который фактически «слишком мал» для работы с этим подходом? При 70 субъектах два шага перекрестной проверки с 10 сгибами в каждом эффективно приведут к небольшим разделениям с 0-1 субъектом. Кроме того, будет ли другой метод перекрестной проверки работать "лучше" в этой ситуации (например, LOOCV)? И если да, то есть ли у кого-нибудь пример кода или ресурсов, на которые я могу сослаться, чтобы начать работу?
Я чувствую, что ответ в конечном итоге «зависит» как от самих данных, так и от того, насколько стабильны производные данные. модели могут быть между складками.