То, что сказал @ sureperformance, правильно.Я просто хочу добавить выражение для скобок и фигурных скобок, как вы просили в вопросе.
** Вы можете попробовать это как для скобок, так и фигурных скобок **
((?:{{)(.*?}}))|((?:\(\()(.*?\)\)))
Демо
const regex = /((?:{{)(.*?}}))|((?:\(\()(.*?\)\)))/gm;
const str = `foo{{bar}} foo{{baz}} foo{{with}bracket}}
foo((hello))
test{{test))
{{test))
{{test}}
((test))
test))
`;
let m;
let op = str.match(regex);
console.log(op);