QT здесь не имеет значения.
Вы в основном хотите использовать Matlab Engine . Вы можете вызвать Matlab из скомпилированного C ++ (например). Возможно, вы захотите использовать engOpen для запуска соединения, а затем engEvalString для запуска сценариев. Вы также можете использовать engGetVariable, mxGetClassID и mxGetDimensions для доступа к результатам.
Но обязательно прочитайте документацию и попробуйте, а затем вернитесь с более подробными вопросами.