вам нужна библиотека символьных вычислений:
library(rSymPy)
x1 <- List(Var("x"), Var("y"))
x2 <- List(Var("z"), Var("w"))
A = Matrix(x1, x2)
Det <- function(x) Sym("(", x, ").det()")
Det(A)
# [1] "w*x - y*z"
x <- Var("x")
y <- Var("y")
z <- Var("z")
A = Matrix(List(y+z,z,y), List(z,z+x,x), List(y,x,x+y))
Det(A)
# [1] "4*x*y*z"
a <- Var("a")
b <- Var("b")
c <- Var("c")
A = Matrix(List(0,b-a,c-a), List(a-b,0,c-b), List(a-c,b-c,0))
Det(A)
# [1] "0"