Оператор if отвечает на / не равно одному из других значений
Думайте о "или" даже в общем смысле
если синий не зеленый, или не красный, или не синий, скажем, нет
вам нужно сделать что-то вроде следующего:
if (operation != '+' && operation != '-' && operation != '/' && operation != '*') {
return false;
}
return true;
вот так вот так
если синий не зеленый, а не красный и не синий, скажем, нет