Проблема в том, что когда вы не используете формулу, вы должны изменить порядок переменных на графике:
data(iris)
dta <- iris[1:20, 1:2]
LinReg <- lm(dta)
plot(dta[, 2:1])
abline(LinReg)
Обратите внимание, что plot (dta) помещает независимую переменную в горизонтальное положение. ось, так что линия не умещается на графике. Как показывают комментарии, гораздо лучше использовать явную формулу, чтобы избежать этой путаницы.