Я считаю, что этот вызов в вашем коде неверен:
result = core.EigenFace(2);
Имя вашей функции MATLAB EigenFace
?Если нет, вы должны вызывать что-то вроде:
result = core.yourfunction(2);
Вы можете увидеть пример getmagic.java в документации MATLAB:
/* Create new magic object */
theMagic = new magic();
/* Compute magic square and print result */
result = theMagic.makesqr(1, n);
System.out.println(result[0]);