Я не думаю, что вы можете сделать слишком много.
Прежде всего, да, CV_BLUR вместо CV_GAUSSIAN определенно будет работать быстрее. При сглаживании по Гауссу средневзвешенное значение рассчитывается по гауссовским весам, но при использовании CV_BLUR все пиксели в радиусе имеют одинаковый вес. Это более простая операция, поэтому ее можно выполнить намного быстрее, чем размытие по Гауссу. Самый быстрый способ сделать размытие по Гауссу - использовать свертку, которая требует гораздо больших вычислительных ресурсов.
Также, возможно, попробуйте OpenCV 2.0, если это не слишком много проблем. Он использует SSE и OpenMP, которые позволяют параллельную обработку. Не уверен, что это будет быстрее, хотя.