Разница в скорости зависит от операций, которые вы делаете. QList безопаснее, потому что он автоматически выделяет и освобождает свое хранилище.
Сначала беспокоитесь о правильности вашей программы, затем заботьтесь о производительности и всегда сначала пишите профиль перед оптимизацией.