Tensorflow SDK vs MLKit SDK - PullRequest
Новая
       9

Tensorflow SDK vs MLKit SDK

0 голосов
/ 09 марта 2020

У нас странная проблема, которую нам нужна помощь в решении. Вот сценарий: у нас есть нативное приложение android, использующее Tensorflow SDK и модель tflite, которая распознает различные виды fi sh. Это решение имеет различные результаты при захвате входных данных с камеры, но при использовании снимков с камеры снимается очень хорошо и дает нам стабильные вероятности для различных видов fi sh.

У нас также есть собственное приложение iOS, которое использует MLKit от Google с той же моделью тензорного потока, и это работает очень хорошо, но на некоторых снимках оно полностью не попадает в цель.

Если мы загружаем одно и то же изображение с рулона камеры и запускаем его через интерпретатор в приложении android и приложении iOS, мы получаем совершенно разные результаты, но только для НЕКОТОРЫХ видов.

У кого-нибудь есть объяснение, почему мы можем получить такие разные результаты, используя одну и ту же модель tflite в обоих приложениях и одну и ту же картинку?

Существуют ли различия между MLKit SDK и Tensorflow SDK, которые могут вызывать такое поведение?

С уважением, Кристиан

1 Ответ

0 голосов
/ 21 апреля 2020

Может быть несколько причин.

  1. Версии времени выполнения TFLite. Пользовательская модель ML Kit также использует TFLite под капотом, и вы можете найти версию времени выполнения TFLite в ваших зависимостях Pod. Убедитесь, что вы используете те же версии TFLite в тесте.

  2. Обработка изображений. Изображения, которые вы отправляете в ML Kit SDK или TFLite SDK, всегда намного больше входных данных модели, поэтому перед запуском модели будет выполнено изменение размера и даже поворот изображений. Разные платформы могут использовать разные библиотеки для обработки изображений, и результаты могут немного отличаться. Но небольшое различие может привести к тому, что модель выдаст разные результаты. Это может из-за модели немного нестабильно для некоторых видов. Вы можете попытаться отправить одно и то же изображение с ожидаемым форматом / размером / ориентацией изображения модели, чтобы обработка изображений не запускалась на обеих платформах, и посмотрите, поможет ли это.

...