Я думаю, вам не нужно удалять символ, когда вы будете его декодировать, автоматически они будут отброшены во время декодирования.Я проверил кодирование и декодирование с предоставленным кодом и получил точную строку после декодирования.
String decodeThisString = "I am a java String";
//encode
byte[] data = Base64.encode(decodeThisString.getBytes(StandardCharsets.UTF_8), Base64.DEFAULT);
String text = new String(data, StandardCharsets.UTF_8);
//decode
byte[] datas = Base64.decode(text, Base64.DEFAULT);
String texts = new String(datas, StandardCharsets.UTF_8);