этот ответ действительно поможет вам
сначала вам нужно создать новый заголовок без номера, например
paragraph = document.add_paragraph()
paragraph.style = document.styles['Heading 4']
, затем у вас будет xml слово, подобное этому
<w:pPr>
<w:pStyle w:val="4"/>
</w:pPr>
тогда вы можете получить доступ к xml word свойству "pStyle" и изменить его, используя код
header._p.pPr.pStyle.set(qn('w:val'), u'4FDD')
final, файл открытого слова, вы получите то, что вы хотите !!!