Вы не можете скомпилировать библиотеки c ++ с mex, чтобы использовать их в matlab, но вы можете написать оболочку (скажем, MexEigen.cpp), где точка входа void mexFunction(...) внутренне использует библиотеку Eigen.Затем при компиляции с помощью mex не забудьте добавить путь включения для собственных заголовков:
mex MexEigen.cpp -I[PATH_TO_EIGEN_INCLUDE]