Функция токенизации выводит список всех токенов в векторе.Какую функцию я могу использовать, чтобы показать все типы?Например, в приведенном ниже коде, какую функцию я использую, чтобы показать только a, b, c (по одному разу) из вектора ex ?
ex <- c("a","b","c","a","b")
tokenize(ex)
[[1]]
[1] "a"
[[2]]
[1] "b"
[[3]]
[1] "c"
[[4]]
[1] "a"
[[5]]
[1] "b"