Чтобы повысить точность вашей системы распознавания лиц, вы должны обучить свою сеть на изображениях разных людей, снятых в разных условиях, в разное время дня, на разных расстояниях, в разных позах и с разными настройками освещения.
После того, как вы приобрели этот набор данных, переобучите в нем свою сеть, и вы увидите, что достоверность прогноза возрастает и ложное срабатывание уменьшается соответственно.
Надеюсь, это поможет.