Вы используете шаблон BRE POSIX, и чтобы создать там группу захвата, вам нужно использовать экранированные скобки, \(...\)
.Однако в строковом литерале с тройными кавычками необходимо экранировать обратную косую черту, чтобы получить буквальную обратную косую черту в результирующей строке.
Вам нужно исправить строку, которая у вас есть, вот так:
'''sed -i' ' -e 's|\\(name *= *"\\)"|\\1'"${params.NAME}"'"|g' -e 's|\\(age *= *"\\)"|\\1'"${params.AGE}"'"|g' vars.txt'''