Вы спрашиваете, как скомпилировать mex-файл непосредственно в командной строке Matlab.
Альтернативой может быть компиляция mex-файла из Visual Studio. Возможно, вас заинтересует следующая процедура
Компиляция mex-файлов с помощью Visual Studio
, который был протестирован с Visual Studio 2010, Matlab 2010a и для целевой 64-битной машины Intel.
Существует также проект Visual Studio 2010, который можно при необходимости загрузить и изменить с помощью собственных параметров конфигурации.