Нашел решение, которое работает для меня. У меня есть класс CustomToolbar, который расширяет класс панели инструментов. И в конструкторе я использую ContextThemeWrapper с моей темой панели инструментов:
class CustomToolBar : Toolbar {
constructor(context: Context?) : super(ContextThemeWrapper(context, R.style.ToolBarTheme))
constructor(context: Context?, attrs: AttributeSet?) : super(ContextThemeWrapper(context, R.style.ToolBarTheme), attrs)
constructor(context: Context?, attrs: AttributeSet?, defStyleAttr: Int) : super(ContextThemeWrapper(context, R.style.ToolBarTheme), attrs, defStyleAttr)
}