Функция mldivide является достаточно умной для проверки треугольных матриц, и в этом случае для эффективного решения линейной системы используется метод прямое / обратное замещение :
AX=B <--> X=inv(A)*B <--> X=A\B
(вычислить x1, подставить его во второе уравнение и вычислить x2, подставить в третье ...)