Полагаю, вы можете установить кодировку в классе формата OutputFormat и использовать ее для настройки XMLWriter .
OutputFormat outFormat = new OutputFormat();
outFormat.setEncoding("ISO-8859-1");
XMLWriter out = new XMLWriter(outputStream, outFormat);
out.write(myDocumentObject);
Вам потребуется предоставить классу XMLWriter объект OutputStream или Writer.