Как говорили другие до меня, да, вам нужно иметь фигурные скобки, окружающие ваши тела операторов if, если они более чем на одну строку. Java в значительной степени видит только эту часть вашего кода.
if((operator == '/') && (operand2 == 0))
JOptionPane.showMessageDialog(null,"Division by 0 not allowed");
else
add = operand1 + operand2;
Однако теперь, если вы добавите фигурные скобки {} в ваши блоки if и else, Java сможет прочитать весь код. Это выглядит примерно так
if((operator == '/') && (operand2 == 0))
{
JOptionPane.showMessageDialog(null,"Division by 0 not allowed");
System.exit(0);
}
else
{
add = operand1 + operand2;
mult = operand1 * operand2;
sub = operand1 - operand2;
div = operand1 / operand2;
remainder = operand1 % operand2;
}