у меня MyClass класс. Я заявляю
MyClass
<Style TargetType="local:MyClass"></Style>
без проблем.
У меня есть MyClass.MyNestedClass (публичный) класс.
MyClass.MyNestedClass
Я заявляю ...?
Вам нужно использовать +, чтобы отделить имя внешнего класса от имени вложенного класса:
<Style TargetType="local:MyClass+MyNestedClass"></Style>
Нельзя объявлять вложенные классы в XAML (afaik), так как это мешает логике синтаксического анализа Xaml, предполагающей, что точечная запись представляет свойство