Я обучаю модель классификации текста с помощью Tensorflow 2.0. Во время обучения я использую keras.preprocessing.tokenizer для сопоставления предложений индексам. После этого я хочу экспортировать модель, включая токенизатор (чтобы я мог отправить необработанное текстовое предложение в tf-serve).
Я пытался использовать tf.lookup.StaticVocabularyTable в качестве токенизатора в модели, но я не могу указать индекс для OOV (для токенизатора Keras индекс токена OOV 1).
Для Tensorflow 1.x я могу использовать tf.contrib.lookup.index_table_from_tensor(default_value=oov_index).
Есть ли простой способ создать токенизатор, в котором я могу указать индекс OOV вручную?