Обычный подход заключается в создании флага, который позволяет алгоритму обнаружения запускаться только один раз каждые пару кадров и сохранять прогнозируемые области интереса в списке, создавая при этом ограничивающие рамки для каждого кадра.
Так, например, у вас есть алгоритм обнаружения лиц, обрабатывайте каждый 15-й кадр для обнаружения лиц, но в каждом кадре создавайте ограничивающую рамку из предсказаний. Даже если прогнозы обновляются каждые 15 кадров.
Другим подходом может быть добавление слоя отслеживания объектов. Запустите ваш тяжелый алгоритм, чтобы найти области интереса, а затем используйте библиотеку отслеживания объектов, чтобы удерживать их до следующего запуска алгоритма обнаружения.
Надеюсь, это имело смысл.