Чтобы создать группу захвата, вам нужно поставить обратную косую черту в скобках.Вам также нужно поставить косые скобки в обратную скобку, чтобы превратить их в квантификатор:
git grep -n "\([^.-]\)\1\{2\}"
Или использовать расширенные или Perl-совместимые регулярные выражения:
git grep -nE "([^.-])\1{2}"
git grep -nP "([^.-])\1{2}"