Не экранируйте внутренние '
exec("Rscript -e \"rmarkdown::render('path/to/file.Rmd')\" 2>&1", $output);
.. и не меняйте крайние строковые символы, чтобы использовать одинарные кавычки вместо двойных:
exec('Rscript -e "rmarkdown::render(\'path/to/file.Rmd\')" 2>&1', $output);
.. не избегайте обоих, если вы не используете оба, что уродливо и сбивает с толку
exec("Rscript -e \"rmarkdown::render(\\\"path/to/file.Rmd\\\")\" 2>&1", $output);