У меня была та же проблема, что и у вас.
В моем случае я хотел создать файл PDF и получил это сообщение, которое вы получили.
Я решил проблему определения latex_engine следующим образом:
---
title: "Report"
output:
pdf_document:
latex_engine: xelatex
---