Как создать приложение с дополненной реальностью для распознавания рукописного содержимого (букв алфавита или цифр)?

Question

Augmented Reality поддерживает базовое распознавание текста через библиотеку Vuforia и поддерживает только компьютерные шрифты, я хотел бы сделать больше, расширив функциональность написанных человеком шрифтов.Я просто хочу начать сначала с цифр, а потом попробовать с алфавитами.Пожалуйста, помогите, поделитесь своими мыслями о возможных вариантах, доступных на данный момент?

Описание варианта использования: Я хочу создать приложение AR, которое распознает числа, написанные на бумаге (при условии, чтоцифры), например, если я покажу бумагу, на которой есть 1, она будет распознана приложением, а цифра 1 будет наложена на бумагу.

Answer 1

Этот вопрос очень широкий, поэтому я дам вам широкий ответ.То, что вы ищете, это Python API, который использует модель, обученную на наборе данных MNIST.Это приложение должно или может использовать функции преобразования Хафа, гомографии и SIFT.Используйте обнаружение контура для разделения отдельных алфавитов.Обнаружение контуров может работать, а может и не работать, с учетом того, насколько близки алфавиты друг к другу и если рукописный текст находится в прямоугольниках или непрерывно.Вот несколько ссылок для начала.

https://machinelearningmastery.com/handwritten-digit-recognition-using-convolutional-neural-networks-python-keras/ Обучение модели ML

https://www.learnopencv.com/image-alignment-feature-based-using-opencv-c-python/ Регистрация изображения

Опять же, этот вопрос не относится к SO.Reddit может быть лучшим выбором.