Должны ли Test и Dev Set отличаться от Учебного набора и Dev Set

Question

Предположим, я строю сеть для локализации объекта. Мои тренировочные данные состоят из изображений, снятых в 5 разных местах, и небольшого набора данных (в каждом месте около 2 тысяч изображений). Должен ли я добавить все изображения, перемешать их, а затем распределить их по обучению (60%), dev (20%), тестированию (20%) или мне нужно взять данные из 3 мест в качестве обучения, 1 места в качестве теста и 1 места в качестве девиация

Answer 1

В идеале обучающий набор, тестовый набор и набор проверки должны быть взяты из одного и того же дистрибутива, поэтому вы должны добавить все изображения, перемешать их, а затем распределить их по обучению (60%), dev (20%) , тест (20%). Кроме того, это поможет вам стать более инвариантным к местоположению (поскольку оно научится игнорировать 5 местоположений против 3) и будет иметь больше шансов на обобщение с добавленным разнообразием.