Существует широкое и относительно недавнее исследование, включая эталонные тесты, здесь .
Я считаю, что вы можете ускорить Boost.UBlas, привязав его к базовым числовым библиотекам, таким как LAPACK или Intel MKL, но не сделали этого.Чаще всего в качестве кандидатов выступают Boost.UBlas и MTL.По моему опыту, широкое внедрение будет способствовать дальнейшей поддержке и развитию.