Это всегда работало для меня
sb.setLength(sb.length() - 1);
Операция довольно легкая, внутреннее значение, содержащее текущий размер контента, будет только уменьшено на 1.
Кроме того, проверьте значение длины, прежде чем делать это, если вы думаете, что буфер может быть пустым.