Я считаю, что PierreBdR прав; вы бы создали версию своей функции в m-файле, используя только заголовок и блок комментариев, но без тела.
Возможно, было бы неплохо поставить проверку ошибок для входных данных в m-файле, а затем заставить m-файл вызывать mex-файл (хотя, возможно, вам придется давать им разные имена). Может быть более простым проверить переменные в MATLAB (используя, например, встроенные модули, такие как nargchk ) и поместить их в стандартный формат, который вы всегда можете пожелать, чтобы входные данные для функции mex имели , Многие из функций Image Processing Toolbox, на которые я смотрел, похоже, делают это (форматирование и проверка данных в m-файле, а затем выполнение дорогих вычислений в mex-файле).