XSLT не имеет и не нуждается в DOCTYPE.Полагаю, вы путаете DOCTYPE с объявлением XML , которое выглядит следующим образом:
<?xml version="1.0" encoding="iso-8859-1"?>
В этой строке нет ничего плохого.Просто убедитесь, что указанная вами кодировка действительно соответствует кодировке файла.Однако не могу понять, как однобайтовая полнодиапазонная кодировка (только ASCII с полудиапазоном) приведет к сбою синтаксического анализа.
Если вы хотите сгенерировать DOCTYPE из преобразования XSL для вашего результирующего документа, тогда читайте эту статью с 2002 .