Вы пытаетесь использовать REGEXEXTRACT? Вы пытались использовать REGEXREPLACE дважды?
REGEXREPLACE("ABC (123)", "[^\(]*\(", "")
REGEXREPLACE("123)", "\)", "")
Или вы можете использовать REGEXEXTRACT дважды.
REGEXEXTRACT("ABC (123)", "\(.*\)")
REGEXEXTRACT("(123)", "[^\(\)]")