Вы можете использовать R в пакетном режиме . Если R находится на вашем пути, то вы можете позвонить из MATLAB:
system('R CMD BATCH infile outfile');
запустит код в infile и поместит вывод в выходной файл.
EDIT:
Вы также можете попробовать другой подход, используя пакет R rscproxy и R (D) COM-сервер, описанный здесь .