Вы должны объявить функцию, затем выполнить ее, чтобы получить результаты
engine.eval("function max(a,b) { if(a<b){return b;} return a;}");
engine.put("a",10);
engine.put("b",100);
int y = (int)engine.eval("max(a,b)"); // will return function result
или присвоить результат переменной, а затем прочитать ее
engine.put("a",10);
engine.put("b",100);
engine.eval("c= a<b? b: a;"); // assign result to a variable
int y = (int) engine.get("c"); // read the value
У вас было ошибка, поскольку ваш оператор return не был внутри какой-либо функции, поэтому return не будет действительным. eval похож на консоль инструментов разработчика в любом браузере. Вам нужно объявить либо функцию, либо переменную.