*
означает 0 или более вхождений, и само по себе ничего не значит, это ошибка.Вы должны указать, что вы хотите 0 или более вхождений:
"a_x,b_y,c_z".replaceAll(",.*_", ",")
дает:
a_x,y,z
или лучше:
"a_x,b_y,c_z".replaceAll(",[^_]*_", ",")
где [^_]
означает любой символ, который не является _
.