потому что ваш # define "sq" проверяет, является ли оно отрицательным числом, и превращает его в положительное число, прежде чем вычислять квадратный корень.
выполняет sqrt (-x), то есть sqrt (- (- 9)) (отрицательный отрицательный - это положительный)
, поэтому он делает sqrt (9)