Это поведение будет зависеть от используемого вами текстового редактора. Некоторые редакторы Markdown придерживаются философии «Что видишь, то и получаешь» (или WYSIWYG), которая делает именно то, что вы описываете. Вы можете найти примеры редакторов WYSIWYG Markdown в Интернете, я лично пробовал только Typora. Но, насколько я могу судить, ни один из них, похоже, не поддерживает Rmarkdown (возможно, кто-то создал надстройку Rstudio?).
С другой стороны, в первые дни knitr он использовал чтобы поддержать Lyx (не знаю, поддерживает ли он до сих пор), что, возможно, ближе к тому, что вы имеете в виду? См. Этот пост для примера: https://yihui.org/knitr/demo/lyx/