Вы достаточно хорошо ответили на свой вопрос. Большинство дорогих вычислений должно быть в библиотеке OpenCV и, следовательно, не зависит от языка, который вы используете.
Если вы действительно обеспокоены эффективностью, вы можете профилировать свой код и подтвердить, что это действительно так. При необходимости ваши пользовательские функции обработки, если таковые имеются, могут быть написаны на C / C ++ и предоставлены в python с помощью выбранного вами метода (например, boost-python), чтобы следовать тому же подходу.
Но по моему опыту, Python прекрасно работает как инструмент "композиции" для такого использования.