Если вы уверены, что ваше выражение содержит только один список терминов в скобках, то мы можем попробовать использовать sub
здесь:
exp <- "myfun(expr1, expr2)*expr3"
terms <- gsub("^[^(]*\\(([^)]+)\\).*$", "\\1", exp)
result <- strsplit(terms, ",\\s*")[[1]]
result
[1] "expr1" "expr2"