Eigenfaces работает, проецируя грани в определенную «основу лица», используя анализ главных компонентов или PCA. Основа не должна включать фотографии людей, которых вы хотите узнать.
Вместо этого, я бы посоветовал вам тренироваться на основе большой базы данных (по крайней мере, 10 тысяч лиц), которая хорошо зарегистрирована (собственные лица плохо работают с смещенными изображениями). Оригинальная статья Тюрка и Пентланда была примечательна отчасти из-за большой базы данных имен зарегистрированных булавок, которую они выпустили. Я также сказал бы, что попытайтесь нормализовать освещение между базой данных и вашими тестовыми входами.
С точки зрения тестирования, первых 20 компонентов должно быть достаточно для восстановления распознаваемого человеком лица, а первых 100 компонентов должно быть достаточно, чтобы различать любые два лица для по существу произвольно большого набора данных.