Как методы агрегирования агрегируют показатели производительности в MLR?

Question

В пакете MLR R есть методы для агрегирования показателей производительности модели настройки параметров, такие как train.mean, train.sd, test.mean, test.sd. Мне интересно, как процесс агрегации был сделан. Исходя из моих текущих знаний, казалось, что агрегация была выполнена на уровне сгиба.

Скажем, для 10 повторов, 5-кратной перекрестной проверки, есть полная оценка ошибки теста 10 * 5, поэтому стандартное отклонение Ошибка теста - это вариация из 50 оценок. Но мне нужна оценка ошибки на уровне повторов, поэтому для каждого повторения у меня есть оценка ошибки, усредненная по внутренней 5-кратной величине, и тогда желаемое стандартное отклонение ошибки теста должно быть отклонением 10 оценок от 10 повторов.

Мне интересно, как это можно сделать. Есть ли способ извлечь необработанный показатель производительности c для каждого параметра настройки в каждом повторном примере?

Answer 1

Я обнаружил, что есть две функции агрегации, которые работают на уровне повторения "testgroup.sd" и "testgroup.mean". Из их описания в mlr.mlr-org.com/reference/aggregations.html

Answer 2

Правильно, агрегация выполняется на уровне сгиба.

Нет реализованной опции агрегирования на уровне повторения, вы должны сами ее кодировать.

Мы не будем добавлять это особенность {mlr} больше. Пожалуйста, смотрите этот выпуск о том, как это сделать в {mlr3}.