Для ускорения расчетов ECC мы используем проективную систему координат.В этом случае точка представлена 3 числами: X, Y, Z. В вашем коде вы получаете проективные координаты, и поэтому X, Y не соответствует аффинным координатам из тестовых векторов.
Вы должнынормализуйте свою точку зрения, чтобы получить аффинные X и Y:
byte[] privKey = new byte[32];
privKey[31] = 2;
ECNamedCurveParameterSpec spec = ECNamedCurveTable.getParameterSpec("secp256k1");
ECPoint pointQ = spec.getG().multiply(new BigInteger(1, privKey));
pointQ = pointQ.normalize();
System.out.println(pointQ.getRawXCoord());
System.out.println(pointQ.getRawYCoord());