Когда производительность является проблемой, нет никакой замены для профилирования. Возможности оптимизации компиляторов меняются от версии к версии, и незначительные незначительные изменения исходного кода могут кардинально изменить результирующую производительность.
Никто не может ответить на этот вопрос, кроме вас самих: создайте тестовый комплект, нарисуйте несколько алгоритмов и посмотрите, что вы получите.
пс. если производительность действительно является проблемой, я получил увеличение скорости в 10 раз из png-декодера, удалив векторы и заменив их необработанными массивами. Опять же, это было для Visual Studio 6. Я не утверждаю, что замена необработанного массива даст вам улучшение в 10 раз, но это что-то, что нужно попробовать.