Не обязательно, чтобы что-то пошло не так. Вместо этого, похоже, что ваша модель не очень хорошо справляется с поворотами или изменением яркости. Если вы ожидаете иметь дело с такого рода вариациями во входных данных, вам, вероятно, следует повысить сложность вашей модели (или, возможно, найти способ предварительной обработки данных, которые будут более легко обрабатываться моделью).