Как решить, была ли модель обучена по образцу?

Question

У меня есть 2 обученные модели (hdf5) и список из 100 образцов (npy) из набора данных MNIST.Модель 1 была обучена 50 образцами, а модель 2 - другими 50.

Теперь мой вопрос: возможно ли решить, какая модель была обучена по какому образцу?

Я довольно новичок вPython и не знаю, как с этим справиться.

Answer 1

Если вы знаете, как использовались образцы (например, первые 50 образцов идут на обучение одной модели, а другие 50 - на другую), вам может помочь следующее.

Обучение означает поискпараметры, которые уменьшают функцию стоимости в данной ошибке.Таким образом, вам нужно будет только проверить каждую модель в каждом образце.Пример, который возвращает вам наименьшую ошибку, - это тот, который использовался для обучения этой модели.

Так что если вы создаете таблицу вида

          +----------+----------+
          | model 1  | model 2  |
+---------+----------+----------+
|sample 1 |  e11     | e12      |
+---------+----------+----------+
|sample 2 |  e21     | e22      |
+---------+----------+----------+

Строка с наименьшим значениемв данном столбце - образец, использованный для обучения этого столбца

Answer 2

Не могли бы вы предоставить больше информации?Похоже, вы пытаетесь сделать машинное обучение на Python.- какую библиотеку вы используете?(pytorch, tenorflow ..) - как ваш пример подается в сеть? в pytorch, например, вы должны реализовать свою версию класса загрузчика данных ..

Любой фрагмент кода также полезен для другихпонять, что вы хотите сделать и в чем ваша проблема.В попытке ответить на ваш расплывчатый вопрос: в общем случае вы можете разделить тренировочный набор (с N выборками) на две папки (одна с первым N / 2, а другая с оставшимся N / 2) и наполнить каждую сеть двумядругой субтренировочный набор.

Answer 3

Нет определенного способа сказать, учитывая только модели и 100 точек данных.
Но вы можете сделать обоснованное предположение на основе любого перебора, если таковой существует.
В основномЕсли имеется какое-либо переопределение, то модель, обученная на «первых» 50 изображениях, даст лучшие результаты на этих 50 изображениях, чем на других 50 «проверочных» изображениях.То же самое относится и к вашей второй модели.
Итак ... вы можете посмотреть на расхождения каждой модели на каждом из наборов из 50 изображений, и, может быть, просто, может быть, вы увидитепоследовательный уклон к обучающему набору каждой модели.
Но это только статистика, основанная на некотором желаемом мышлении.
Удачи!