Как развернуть пользовательские алгоритмы обработки изображений в приложении android?

Question

Я создаю приложение, которое будет иметь функцию обратного поиска изображений для зданий или ориентиров. Проще говоря, Landmark Recognition для приложения. Теперь я знаю об API Landmark Recognition ML Kit для Firebase, но что если я захочу развернуть свой собственный алгоритм?

Моя идея: В приложении - Faster-RCNN для обнаружения функций, авто-кодеры для изображений шумодав. На сервере - используйте Annoy Index для поиска и поиска изображений.

Возможно ли это? Что вы думаете ? Могу ли я развернуть свои собственные нейронные сети в приложении android с использованием Tensorflow Lite или чего-то еще?

Есть ли какой-то другой подход, который вы хотите предложить?

Answer 1

Вы можете развернуть любую модель Tensorflow, Keras и pytorch на устройствах android, используя Tensorflow-lite. Если вы хотите развернуть вашу модель для обработки изображений / видео в реальном времени, вам следует go с Mediapipe . Mediapipe - это фреймворк Google, основанный на программе tenorflow-lite. Производительность Mediapipe является быстрой по сравнению с обычным развертыванием tflite, поскольку она использует SSBO ввода / вывода , она также кроссплатформенная.

Answer 2

Решением этой проблемы является использование TensorFlow Lite.

Перед развертыванием его на устройстве Android вы можете проверить его локально в Python, используя переводчика на месте (в вашем Если реальным интерпретатором является ваше Android устройство, но для целей тестирования вы также можете запустить свой код в Python).