Вы можете решить свою проблему, обнаружив людей и скрещивание зебры, и отфильтровав прямоугольники, которые не находятся близко или не пересекаются с ограничивающим прямоугольником зебры, используя некоторые правила.
Обнаружение человека может быть выполнено с помощью Yolo. Для обнаружения пешеходных переходов есть много реализаций на inte rnet, один из них находится в this github repo