При использовании text_tokenizer + fit_text_tokenizer, как я могу увидеть токены, которые функция создала для каждого документа?
Я пробовал атрибуты, показанные в https://keras.rstudio.com/reference/text_tokenizer.html,, но не нашел ответа.
q_texts <- c('hi, how are you', 'fine, and you')
ktoken <- text_tokenizer( num_words = 5, filters = '', lower = FALSE ) %>% fit_text_tokenizer( q_texts )
В показанном примере я хотел бы видеть все документы в виде токенов, например:
- document1: «привет», «как», «вы»
- document2: «хорошо», «» и «вы»