Существует несколько различных решений для распознавания рукописного ввода / жеста. Тот, о котором я узнал, связан с искусственными нейронными сетями, в частности, с многослойной сетью персептрона. Короче говоря, вы вводите некоторые тестовые образцы, которые являются правильными, затем вы обучаете эту сеть, а затем используете ее для тестирования на новом входе. Подобные вещи во флэш-памяти, которые также используют эту сеть, - это игры с 20 вопросами.
Есть несколько других способов сделать это, некоторые более простые, а некоторые, вероятно, более сложные, но мои знания о них скудны.