Чтобы быть более конкретным, если у вас есть объект одного цвета, вы можете посмотреть на трекер Camshift. Демо camshift в Python включено в исходный код OpenCV. Это намного эффективнее для одного цветного шарика, чем Haar, и практически не требует обучения, только инициализация с тем, где находится объект.