Есть несколько хороших методов, которые вы можете искать и использовать:
1- HOG (гистограмма ориентированных градиентов)
2- Хемминга
3- SIFT
также проверьте эту библиотеку: VLFeat
В FileExchange имеется ряд функций, которые можно свободно загружать и использовать.