Распределение обучения, проверки и набора тестов?

Question

Я хочу спросить о распределении поезда, валидации и тестовом наборе? допустим, я хочу сделать двоичный классификатор re snet с двумя классами 'cat' и 'dog'.

Предположим, имя каждого класса:

cat: a, b, c, d, e

собака: f, g, h, i, j

Предположим, что я хочу 2 изображений из каждого класса для стать тестовым набором и 1 изображением из каждого класса, чтобы стать проверочным набором .

какая схема распределения на самом деле верна?

---

схема 1

тестовый набор

кошка: a, b

собака: i, j

набор поезда

кошка: c, d

собака: f, g

набор значков

кат .: e

собака: h

---

схема 2

тестовый набор

кошка: a, b

собака: i, j

поезд

кошка: c, d, e

собака: f, g, h

val set

кошка: e

собака: h * 10 77 *

---

что меня смущает, набор проверки также является членом обучающего набора, как в схема 2 ?, Или набор проверки отличается от обучающего набора, как в схема 1 ? спасибо за помощь

Answer 1

Наборы для обучения, валидации, тестирования. Эти три набора должны быть совершенно разными. Один не может пролиться на другого во время выполнения одной эпохи.

Учебный комплект используется для обучения модели, т. Е. Для изучения весов.

Набор проверки используется для точной настройки гиперпараметров в зависимости от производительности. После того, как удовлетворительная модель была достигнута, на снимке появляется тестовый набор.

Тестовый набор - это большой сюрприз, настоящая витрина. Это не видно, пока модель не станет окончательной. Это помогает в анализе изученной модели в истинном смысле.

Как их разделить? Это хорошо, чтобы случайно разделить их и иметь равное распределение каждого класса в каждом из наборов.

Для обучения вы также можете посмотреть CrossValidation . Это помогает устранить предвзятую природу, которая может возникнуть при обучении и проверке на одном и том же наборе изображений.