Скорее всего, в вашей программе есть утечка памяти, и это не обязательно означает, что она связана с ресурсами OpenCV, но вы все равно должны взглянуть на предложение @Utkarsh, это хорошая вещь.
Попробуйте закомментировать ваш код обработки изображений и посмотрите, превышает ли ваше приложение ограничение в 2200 кадров. Если это произойдет, вы можете легко обнаружить утечку.
Вам понадобится поделиться своим кодом, если вам нужна дополнительная помощь. Понимание, в чем может быть проблема, никуда нас не приведет.