Токенизатор и распечатай - PullRequest
0 голосов
/ 07 февраля 2020

После токенайзера мой список строк я пытаюсь получить значение слова и его число связать. fe: the = 3, как я могу это сделать ?? (python) вот код

sentences_train, sentences_test, y_train, y_test = train_test_split(X,y, test_size=0.2, random_state=42)


from keras.preprocessing.text import Tokenizer
tokenizer = Tokenizer(num_words=5000)
tokenizer.fit_on_texts(sentences_train)

X_train = tokenizer.texts_to_sequences(sentences_train)
X_test = tokenizer.texts_to_sequences(sentences_test)

vocab_size = len(tokenizer.word_index) + 1

1 Ответ

0 голосов
/ 07 февраля 2020

Попробуйте tokenizer.texts_to_sequence (['the'])

...