Хорошо, давай попробуем ...
mexCallMATLABWithTrap (C и Fortran) - вызов функции MATLAB, пользовательского M-файла или MEX-файла и получение информации об ошибке
#include "mex.h"
mxArray *mexCallMATLABWithTrap(int nlhs, mxArray *plhs[], int nrhs, const mxArray *prhs[], const char *functionName);
и
mexEvalStringWithTrap (C и Fortran) - выполнить команду MATLAB в рабочей области вызывающего абонента и записать информацию об ошибке
#include "mex.h"
mxArray *mexEvalStringWithTrap(const char *command);
Эти две вещи были найдены с помощью Google и одна или две догадки. Извините, если это пустая трата времени.