Прошло много времени с тех пор, как я использую латекс, и я не очень хорошо знаком с тем, как вы визуализируете латекс с помощью RMarkdown. Вот снимок:
library(kableExtra)
cormat = round(cor(mtcars[,c("mpg","cyl","hp")]),digits=2)
cormat[!lower.tri(cormat)]=""
kable(cormat,"latex")
\begin{tabular}{l|l|l|l}
\hline
& mpg & cyl & hp\\
\hline
mpg & & & \\
\hline
cyl & -0.85 & & \\
\hline
hp & -0.78 & 0.83 & \\
\hline
\end{tabular}