Вам не нужна глобальная переменная answer .
Измените свои операторы возврата, чтобы просто возвращать результат, вместо того, чтобы пытаться присвоить ему "ответ".то есть
switch(op){
case '+' :
return a+b
break;
case '-' :
return a-b
break;
case '*' :
return a*b
break;
case '/' :
return a/b
break;
}
, затем просто измените файл console.log на
console.log(mycal(a,b,op))
Если вы действительно хотите, чтобы результаты присваивались ответ , вы можете сделать что-то вроде
var answer = mycal(a,b,op)
console.log(answer)