Как оценить систему CBIR, не зная правды?

Question

В качестве базы данных у меня есть куча изображений одного класса - это означает, что у меня есть только один класс изображений.

После реализации CBIR (извлечение признаков по гистограммам и расчет расстояния по евклидову - очень наивный подход, ничего особенного), я получаю 25 лучших результатов. И теперь я хотел бы оценить их.

Все показатели оценки, такие как средняя средняя точность и точный отзыв, нуждаются в достоверных данных, которых у меня нет. Прямо сейчас я просто беру одно изображение и вычисляю сходство.

Как я могу оценить, не имея наземных данных о правде?

Answer 1

Поздний ответ, но я работаю над аналогичным проектом. Вы не можете реально оценить свой подход, поскольку у вас нет правды. Что вы можете сделать, это запустить его для различных изображений и рассчитать среднее количество изображений, которые вы считаете важными каждый раз. Еще лучше было бы использовать человеческих судей вместо своего собственного суждения, поскольку можно было бы сказать, что это будет очень предвзятым.