matlab -nosplash -nodesktop -r "my_script; quit"
Редактировать:
Следуя рекомендациям Эдрика, вам лучше использовать один из них:
matlab -nosplash -nodesktop -r "try, my_script; end, quit"
matlab -nosplash -nodesktop -r "try, my_script; catch, disp('failed'), end, quit"
matlab -nosplash -nodesktop -r "try, my_script; catch e, your_error_handling_function(e), end, quit"