bitxor(2,x)
либо добавим 2, либо вычтем 2 к / от х, так что вам нужно решить оба:
x^2 - x + 2 = 0
и
x^2 - x - 2 = 0
, а затем проверьте, работает ли какое-либо из решений в исходном выражении.
В первом случае корни сложны, во втором - корни -1 и +2.
Подставляя обратно в исходное уравнение:
x = -1 => (-1^2) - bitxor(2, -1) = 1 - (-3) = 4
x = 2 => (2^2) - bitxor(2, 2) = 4 - 0 = 4
Так что, очевидно, нет реального целочисленного решения.