Если вам просто нужно статическое подчеркивание (без эффектов наведения мыши), вы просто должны использовать TextBlock в качестве содержимого HyperlinkButton.Поскольку HyperlinkButton является ContentControl, он может принимать любой другой тип элемента управления в качестве своего содержимого (кроме простых строк).
Вот некоторый XAML, который предоставит вам подчеркнутый TextBlock в качестве содержимого для HyperlinkButton:
<HyperlinkButton NavigateUri="http://google.com">
<TextBlock Text="Google" TextDecorations="Underline" />
</HyperlinkButton>
Вы должны быть в состоянии создать свой TextBlock и установить свойство Content вашей HyperlinkButton с C # в коде позади, а также, если это то, что вы делаете.
Как сказал Дэвид, редактированиеControlTemplate, безусловно, будет работать для стилизации HyperlinkButton по вашему вкусу, но использование фактического подчеркнутого TextBlock в качестве содержимого может быть проще и намного меньше XAML, если это все, что вам нужно сделать.