Настройки, предоставляемые docbkx, аналогичны настройкам docbook. Я думаю, вы просто хотите иметь свой собственный слой настроек, который импортирует docbook xsls.
Это, конечно, возможно. Смотри http://blog.kasunbg.org/2010/12/how-to-use-docbkx-tools-as-maven.html
Содержит подробное руководство по использованию docbkx-maven-plugin с вашим собственным слоем настройки.
Вот конфигурация
<configuration>
<foCustomization>src/docbkx/xsl/fo.xsl</foCustomization>
<xhtmlCustomization>src/docbkx/xsl/xhtml.xsl </xhtmlCustomization>
</configuration>