Вы можете использовать cvFindContours, а затем проверить каждый контур, чтобы увидеть, может ли это быть кончиком пальца, и идти оттуда.
Возможно, будет проще, если вы выполните некоторую предварительную обработку изображения, чтобы кончики пальцев выделялись, например, чтобы скрыть цвета, не соответствующие пальцам.