В Linux для запуска MATLAB в окне терминала используйте параметр -nodesktop. Это заставляет MATLAB запускаться без графического интерфейса, при этом весь ввод и вывод текста происходит через окно терминала. Но он не отключает программное обеспечение JVM в целом и позволяет отображать интерактивные графические окна.
Опция -nojvm отключает программное обеспечение JVM, запрещая все компоненты MATLAB на основе Java, включая графические окна. Опция -nodisplay отключает все графические выходные данные, но не отключает JVM.
Подробнее см. в документации .