Вы сначала декодируете строку "test string XML:", которая на самом деле не является допустимой Base64, поскольку содержит пробелы и двоеточие, ни один из которых не является допустимым символом B64. Я думаю, что вы хотели кодировать затем декодировать , например:
(new sun.misc.BASE64Decoder().decodeBuffer(new sun.misc.BASE64Encoder().encode("test string XML:"))