Поскольку вы говорите, что повторение в стиле "aba" не считается, обратные ссылки должны сделать это просто:
(.)\1+
Найдет последовательности символовПопробуйте:
java.util.regex.Pattern.compile("(.)\\1+").matcher("b").find(); // false
java.util.regex.Pattern.compile("(.)\\1+").matcher("bbb").find(); // true