Мне кажется, что обработчик событий в коде позади - это естественный путь. Символы Unicode - это просто символы в .NET, поэтому тот факт, что они могут находиться за пределами набора символов ASCII, не подразумевает дополнительных сложностей.
Что-то подобное должно сделать:
private void button_Click(object sender, RoutedEventArgs e)
{
MyRtb.CaretPosition.InsertTextInRun("む");
}