Если вы не хотите преобразовывать его в строку для сравнения, т.е. делать точные совпадения, вы можете попробовать это
a <- data.frame(t(matrix(1:12,3,4)))
b <- data.frame(t(matrix(7:21,3,5)))
a[!apply(a,1,FUN=function(y){any(apply(b,1,FUN=function(x){all(x==y)}))}),]