Передача нескольких изображений в модель классификации изображений CoreML (быстро)

Question

Я знаю, как использовать библиотеку CoreML для обучения модели и ее использования. Однако мне было интересно, можно ли передать модели более одного изображения, чтобы она могла идентифицировать ее с большей точностью.

Причина этого в том, что я пытаюсь создать приложение, которое классифицирует гистологические слайды, однако многие из них выглядят очень похожими, поэтому я подумал, что, может быть, я мог бы скормить изображения модели с разным увеличением по порядку произвести идентификацию. Возможно ли это?

Спасибо, Мехди

Answer 1

Да, это обычная техника. Вы можете предоставить Core ML изображения в разных масштабах или использовать разные кадры из одного и того же большого изображения.

Типичный подход состоит в том, чтобы взять 4 кадрирования углов и 1 кадрирование в центре, а также перевернуть их по горизонтали, так что всего у вас будет 10 изображений. Затем загрузите их в Core ML в виде партии. (Возможно, в вашем случае имеет смысл перевернуть кадры по вертикали.)

Чтобы получить окончательный прогноз, возьмите среднее значение прогнозируемых вероятностей для всех изображений.

Обратите внимание, что для того, чтобы использовать изображения разных размеров, модель должна быть настроена для поддержки «гибкости размера». И его также нужно обучить на изображениях разных размеров, чтобы получить хорошие результаты.