Конечно, можно писать файлы C ++ MEX, которые используют STL и boost. В общем, вы должны иметь возможность делать все, что угодно, внутри файла C ++ MEX. Основное практическое ограничение заключается в том, что MATLAB уже поставляется с кучей библиотек, поэтому, если вы используете один из компонентов надстройки, для которого требуется общая библиотека (некоторые только для заголовков), вам нужно будет соответствовать версии, с которой вы компилируете с этой доставкой с MATLAB.
Например, MATLAB R2009b поставляется с бустом 1.36 (вы можете узнать, посмотрев на названия библиотек в / bin / ).