Поскольку mid * mid
выходит за пределы диапазона int.
для n = 808201, вы терпите неудачу на mid = 300325, переходите на длинное значение
public static boolean isPerfectSquare(int n) {
int l=1, r=n;
if(r==l) return true;
return searchBinary(l, r, n);
}
public static boolean searchBinary(long l, long r, int n){
if (l > r) {
return false;
}
long mid=(r + l) >> 1;
// System.out.println(l + " " + r + " " + mid + " " +n);
if(mid*mid == n) return true;
else if(mid*mid>n) return searchBinary(l, mid-1, n);
else return searchBinary(mid+1, r, n);
}