Ваш вопрос решен здесь . В качестве скелета вы можете использовать этот код:
from tensorflow.python.keras.preprocessing.text import Tokenizer
tokenizer_obj = Tokenizer()
tokenizer_obj.fit_on_texts(your_dataset)
...
max_length = max_number_words
X_test_tokens = tokenizer_obj.texts_to_sequences(X_test)
X_test_pad = pad_sequences(X_test_tokens, maxlen=max_length, padding='post')
score, acc = model.evaluate(X_test_pad, y_test, batch_size=128)