Быстрый переход к W3Schools показывает, что элемент XSL: Output имеет атрибут doctype-system , а также doctype-public . Я считаю, что это то, что вам нужно.
Если вы измените свой xsl: output на следующий
<xsl:output method="html" indent="yes" encoding="utf-8" doctype-public="-//W3C//DTD HTML 4.0 Transitional//EN" doctype-system="_http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd" ></xsl:output>
Вы должны получить требуемый вывод DTD следующим образом:
<!DOCTYPE html PUBLIC "-//W3C//DTD HTML 4.0 Transitional//EN" "_http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">