Настройка гиперпараметров, когда у вас нет доступа к тестовым данным

Question

Я строю модели для набора данных SQUAD (Стэнфордский вопрос-ответ) (https://rajpurkar.github.io/SQuAD-explorer). Стэнфорд не выпускает свой тестовый набор. Он предоставляет нам только обучение и набор данных dev.

Вотмой вопрос:

Когда я настраивал гиперпараметры разных моделей, я настраивал их на данные "dev", предоставленные Стэнфордом. Однако мы рассматривали набор "dev" как набор "test", поскольку у нас не былодоступ к реальным данным "тестирования". Мы выбираем только 1 модель для отправки среди различных моделей на основе производительности набора данных "dev".

, поэтому мне было интересно, должен ли я разделить обучающий набор дальше наtrain и dev, и настроили гиперпарамы на недавно отделенном наборе dev, а не на dev, заданном Stanford, поскольку мы используем набор dev в качестве набора test. Я как-то обманывал? Нужно ли создавать другой?dev "данные из существующих данных поезда, разбивая их дальше, и настраивая там гиперпарамы, и проверяя число перфораторов на заданном наборе" dev "?

Answer 1

Вы можете сделать это легко путем перекрестной проверки.Это все сделает за вас.Преимущество здесь в том, что вы хотите, чтобы тренировочный набор был разбит на 10 комплектов.Для обучения потребуется 9 комплектов и один комплект для проверки.И таким образом он будет работать 10 раз, а затем он получит среднее из лучших 3 (если вы зададите лучший из 3 заданных параметров).

Answer 2

Я думаю, что это нормально (если у вас достаточно данных), чтобы разделить обучающий набор дальше на новый (меньший) поезд и тест, использовать набор dev для настройки гиперпараметров и оценки производительности на тестовом наборе.