Вы можете использовать iconv:
writeLines(iconv(readLines("tmp.html"), from = "ANSI_X3.4-1986", to = "UTF8"), "tmp2.html")
tmp2.html должен быть utf-8.
Редактировать Henrik в июне 2015 года:
Рабочее решение для Windows, извлеченное из комментариев, выглядит следующим образом:
writeLines(iconv(readLines("tmp.html"), from = "ANSI_X3.4-1986", to = "UTF8"),
file("tmp2.html", encoding="UTF-8"))