То, что вы получаете, когда редактируете ячейку в datagridtextboxcolumn, это TextBox.
У меня не настроено что-то, с чем я могу это протестировать, но это не совсем уместится в комментарии,
Я думаю, что если вы просто примените стиль к текстовому полю, это сработает.
Поместите стиль в Datagrid.resources:
<Style TargetType="TextBox">
<Setter Property="Validation.ErrorTemplate">
<Setter.Value>
<ControlTemplate>
И, конечно,любой шаблон, который вы хотите использовать там.