Большинство алгоритмов обнаружения используют часть изображений без ограничивающих рамок в качестве примеров «негативных» изображений, то есть изображений, которые не должны быть обнаружены.
Если в вашем тренировочном наборе много объектов, которые должны были быть помечены, но это не так, это проблема, потому что это сбивает с толку алгоритм обучения.
Вам определенно следует подумать о добавлении отсутствующих меток вручную в набор данных.