Правильный синтаксис будет
выберите * из таблицы A, где (x, y) IN ( VALUES ('x1', y1))
Обратите внимание, что вы задаете предложение VALUES только один раз, поэтому результаты с несколькими строками можно получить с помощью
выберите * из таблицы A, где (x, y) IN ( VALUES ('x1', y1), ('x2', y2))
Однако не знаю, как заставить Hibernate сделать это.