Влияет ли соотношение сторон обучающих изображений на модель обнаружения объектов, созданную Turi Create?

Question

Я тренирую пользовательскую модель обнаружения объектов с помощью Turi Create, используя t c .object_detector.create, и наблюдаю другое поведение при запуске mlmodel на iPhone в альбомном или портретном режиме. Пытаетесь определить, является ли это просто ошибкой в ​​приложении, или это влияет на соотношение сторон изображений в обучающем наборе модели обнаружения объектов?

Нужно ли гарантировать, что тренировочные образы имеют различные аспекты крысы ios, чтобы создать надежную модель?

Answer 1

Да, это имеет значение. Изображения прижимаются к квадрату на тренировке. Вам также необходимо проверить, что модель использует

objectRecognition.imageCropAndScaleOption = . scaleFill

Также, каков обход буфера захвата? это контролируется ...

conn?.videoOrientation = .portrait

и каким образом модель интерпретирует изображение ...

 let exifOrientation = CGImagePropertyOrientation.up
 let imageRequestHandler = VNImageRequestHandler(cvPixelBuffer: pixelBuffer, orientation: exifOrientation, options: [:])

Альтернативой является тренировка на квадратных изображениях и установка модели в .centerCrop. Но тогда ищется только центральный квадрат изображения.