Ааааа, windows и UTF-8!
Я тоже удивляюсь, и это работает для меня
options(encoding='native.enc')
out <- file('out.txt', open='w', encoding = 'UTF-8')
writeLines('\u2077\u2078\u2079 \u2087\u2088\u2089', 'out.txt', useBytes = TRUE)
close(out)
readback <- readLines('out.txt', encoding='UTF-8')
Моя установка немного старше (моя наиболее часто используемая установкаэто OSX): Rstudio 0.99.903 / R 3.3.1 / Windows 7
Самое странное, с чем я столкнулся, это то, что он перестает работать, если вы установили options(encoding='UTF-8')
И, наконец, я заметил, что все упоминания UTF-8 указаны в верхнем регистре, я вижу, что вы использовали строчные буквы, я не уверен, что это имеет значение.