Работает, если установить кодировку вручную:
userinput <- "mm is such an alpha male !!!"
x <- gsub("alpha|Alpha","\u03B1",userinput)
x
# [1] "mm is such an α male !!!"
Encoding(x) <- "UTF-8"
x
# [1] "mm is such an α male !!!"
Вы могли бы подумать, что установки кодировки на userinput
будет достаточно, но это не так, gsub
не имеет никакого отношения.
Имея дело с адом кодирования, управляйте кодированием каждого ввода и переменной на каждом шаге и никому не доверяйте. Лично у меня были ужасные проблемы даже с выдающимися пакетами для анализа текста.