Один подход можно сделать с сопоставлением шаблонов, если у вас есть два примера: Соответствие шаблону OpenCV Соответствие шаблону Scikit-изображения .
Это будет конвейер что я буду следовать, сначала получите шаблон (и изображение, как те, которые вы опубликовали) для каждого из направлений влево, вправо, прямо и назад.
Затем используйте алгоритм сопоставления шаблонов для каждого из четырех шаблонов над стрелка, которую вы хотите распознать, и получить направление от шаблона, который приобретает большее сходство.
Другой подход может быть сделан путем обнаружения формы PyImageSearch - обнаружение формы но я полагаю, вы не планируете только для обнаружения этих направлений, и первый подход может быть легко применен к другим обнаружениям.
Излишним способом может быть обучение CNN.