Как запустить обнаружение объектов Tensorflow на iOS

Question

Я пытаюсь найти самый простой способ запустить обнаружение объектов из модели Tensorflow (Inception или mobilenet) в приложении для iOS.

У меня есть классификация изображений iOS Tensorflow, работающая в моем собственном приложении и сетиследующий этот пример

и имеющий классификацию изображений Tensorflow и обнаружение объектов, работающие в Android для моего собственного приложения и сети следующий этот пример

но iOSпример не содержит обнаружение объектов, только классификацию изображений, так как же расширить пример кода iOS для поддержки обнаружения объектов, или есть полный пример для этого в iOS?(предпочтительно цель-C)

Я нашел this и this , но он перекомпилирует Tensorflow из источника, который кажется сложным,

также нашел Tensorflow lite ,

, но опять же не обнаружение объектов.

Я также нашел вариант преобразования модели Tensorflow в Apple Core ML с использованием Core ML, но это кажется очень сложными не смог найти полный пример обнаружения объекта в Core ML

Answer 1

Вы должны тренировать свою собственную модель ML.
Для iOS будет проще использовать Core ML.Также модели тензорного потока можно экспортировать в формате Core ML.Вы можете поиграть с этим образцом и попробовать разные модели.https://developer.apple.com/documentation/vision/recognizing_objects_in_live_capture
Или здесь:
https://github.com/ytakzk/CoreML-samples

Answer 2

Итак, я попал в этот демонстрационный проект,

https://github.com/csharpseattle/tensorflowiOS

Он предоставил работающее демонстрационное приложение / проект, и было легко переключить его файл pb Tensorflow для моего собственного обученного сетевого файла.

Инструкции в файле readme довольно просты. Вам нужно проверить и перекомпилировать Tensorflow, который занимает несколько часов и 10 ГБ пространства. У меня была проблема с темой, я использовал инструкции gsed, которые работали. Вам также необходимо установить Homebrew.

Я еще не смотрел на Core ML, но из того, что я прочитал, конвертация из Tensorflow в Core ML сложна, и вы можете потерять части своей модели.

Он работал довольно быстро на iPhone, даже используя модель Inception вместо Mobilenet.