Быстро и грязно было бы сначала обнаружить глаз с помощью фильтра Хаара, есть хорошие файлы xml модели, поставляемые с opencv 2.4.2. Затем вы делаете некоторое определение кожи (в пространстве HSV, а не в пространстве rgb), чтобы определить область глаза посередине, или поиск по кругу.
Кроме того, проекции, основанные на гистограмме решения могут использоваться после обрезки области глаза.