Если вы просто хотите поместить символ :
в строку формата, тогда вы избегаете его с обратной косой чертой:
Text="{Binding Value, ElementName=slider,StringFormat=\{0:00\\:00\}}"
Но я думаю, что это то, что вы хотите сделать:
<Slider Name="slider" Width="500" Height="30" Maximum="100" Minimum="0" />
<TextBlock Text="{Binding Path=Value, ElementName=slider, StringFormat={}{0:00\\:00}}" />