Вам нужно запустить этот оператор [matlabroomt '/extern/include']
внутри кода Matlab, а не непосредственно в командной строке оболочки. Убедитесь, что вы правильно расставили цитаты!
matlab -batch 'disp([matlabroot ''/extern/include''])'
Затем вы можете записать его в переменную оболочки, если хотите использовать что-то еще:
mat_include_path=$(matlab -batch 'disp([matlabroot ''/extern/include''])')