Имеет ли значение, какой тип пиксельного формата мы выбираем для AVCaptureSession для запуска модели CoreML с использованием Vision?

Question

Я использую пример приложения Apple для поиска завтраков, которое выполняет обнаружение, и использует тип пиксельного формата в бипланарном формате yuv.Я изменил его на ARGB, и он работает на моей собственной модели, обученной на Turi create.Теперь я понятия не имею, что изменение типа формата пикселя повлияет на выполнение запросов в буфер.

Answer 1

Vision и / или Core ML автоматически преобразуют CVPixelBuffer в формат пикселей, который ожидает ваша модель, поэтому вам не нужно об этом беспокоиться.

(Если вы используете Core ML напрямую, я считаю, что пиксельный формат должен быть BGRA или ARGB, но Vision кажется более гибким.)

См. Пример приложения CheckInputImage из моего репозитория Core ML Survival Guide *1006*, который позволяет дважды проверить, что изображение, видимое Vision / Core ML, действительно соответствует вашим ожиданиям.