Вам нужно будет самостоятельно переключаться между различными режимами подсветки в пределах одной подсветки синтаксиса.
Я бы начал с вашей подсветки HTML, так как она должна уметь определять, когда вы внутритег <style>.Используйте setCurrentBlockState, чтобы пометить этот блок как CSS, и делегируйте его в средство визуализации CSS.
Основная идея проиллюстрирована в документах QSyntaxHighlighter (переключениемежду режимами комментирования / кодирования) и примером.