Как рассчитать точность API обнаружения объектов TF по пользовательскому набору данных?

Question

Я использую API обнаружения объектов TF для обнаружения объекта в настраиваемом наборе данных, но когда дело доходит до точности, я понятия не имею, как рассчитать его так. Как рассчитать точность модели обнаружения объекта по настраиваемому набору данных? И найти достоверную оценку модели по набору тестовых данных?
Я пытался использовать eval.py, но это не помогло.

Answer 1

Эта ссылка помогла мне запустить eval.py и получить значение mAP для обучающих данных. Просто нужно запустить с использованием CUDA следующим образом: CUDA_VISIBLE_DEVICES = "" python3 eval.py --logtostderr --pipeline_config_path = предварительно обученная модель / ssd_inception_v2_coco.config --checkpoint_dir = training / --eval_dir = eval / * 100

Answer 2

Вы говорите о точности обучения, точности валидации или точности теста? Как следует из названий, есть 3 различных значения точности:

• Точность обучения: точность модели на тренировочном наборе
• Точность проверки: точность модели на проверочном наборе
• Точность теста: точность модели на тестовом наборе

Точность обучения и проверки являются выходными данными обучения, для точности теста необходимо запустить модель на тестовом наборе.

Переучивали ли вы модель (с контрольной точки, точную настройку ...) или использовали модель по мере ее поступления? Если вы переобучили модель, вы должны легко иметь точность обучения и проверки, на самом деле у вас есть эти значения для каждой эпохи. Если вы не прошли переподготовку модели, вы можете проверить только точность теста, учитывая, что набор тестовых данных помечен.