Использование MLMultiArray в качестве вывода модели CoreML

Question

Я обучил модель YOLOv3-SPP, используя PyTorch. Затем я сохранил модель в формате onnx, а затем преобразовал свою модель onnx в CoreML, используя onnx-coreml. Я не могу понять, как использовать мою модель, так как выходные данные являются MLMultiArrays.

Вот так выглядят мои результаты:

Я новичок в машинном обучении и не знаю, с чего начать речь идет о попытке использовать эту модель. Я не знаю, какую информацию содержит каждый MultiArray, и не могу понять, как получить к нему доступ. Учитывая, что моя модель - это детектор объектов, обученный в 3 классах, кто-нибудь может сказать мне, какую информацию хранит каждый MultiArray и как я могу получить к ней доступ? Некоторый пример кода с объяснением проделал бы долгий путь. Если кто-нибудь знает о каком-либо проекте Github, в который я могу просто добавить эту модель для тестирования, это также сработает.

Answer 1

Вам необходимо декодировать выходные данные модели в ограничивающие рамки и т.д. c, как это делает модель PyTorch. Не все, что делает код PyTorch, является частью модели Core ML.

Слишком много работы, чтобы объяснить это в StackOverflow, но я много об этом писал в своем блоге: https://machinethink.net/blog/

В частности,

• https://machinethink.net/blog/object-detection/
• https://machinethink.net/blog/yolo-coreml-versus-mps-graph/
• https://machinethink.net/blog/object-detection-with-yolo/

YOLOv3-SPP отличается в деталях, но это должно начать вас.