Преобразование модели Python Keras NLP в Tensorflowjs - PullRequest
Новая
       49

Преобразование модели Python Keras NLP в Tensorflowjs

0 голосов
/ 28 мая 2019

Я пытаюсь узнать больше о Tensorflowjs, но, к сожалению, я застрял, конвертируя мою модель Keras NLP в Tensorflowjs.

Вот что я пытаюсь конвертировать: 

from keras.models import load_model

from keras.preprocessing.sequence import pad_sequences

import pickle

list_classes = ["toxic", "severe_toxic", "obscene", "threat", "insult", "identity_hate"]

model = load_model('Keras_Model/m.hdf5')
with open('Keras_Model/tokenizer.pkl', 'rb') as handler:
    tokenizer = pickle.load(handler)

list_sentences_train = ["I need help Stackoverflow"]

list_tokenized_train = tokenizer.texts_to_sequences(list_sentences_train)
maxlen = 200
X_t = pad_sequences(list_tokenized_train, maxlen=maxlen)


pred = model.predict(X_t)[0]

Сторона Tensorflowjs: 

import tf = require('@tensorflow/tfjs-node')

async function processModel(){
  const model = await tf.loadLayersModel('Server_Model/model.json');
}

Как мне запустить Tokenizer и сделать правильные прогнозы?

1 Ответ

0 голосов
/ 01 июня 2019

На самом деле, я столкнулся с той же проблемой при классификации текста на Android. У меня была модель (tflite), готовая к использованию, но как я могу разбить предложения так же, как это сделал Keras в Python.

Я нашел простое решение, которое я обсуждал здесь (для Android).

Простая идея - преобразовать keras.preprocessing.text.Tokenizer словарь в файл JSON. Этот файл JSON может быть проанализирован в любом из языки программирования, включая JavaScript.

Tokenizer содержит объект с именем word_index. 

index = tokenizer.word_index

Объект word_index - это диктовка, которая может быть преобразована в JSON, 

import json 
with open( 'word_dict.json' , 'w' ) as file:    
    json.dump( tokenizer.word_index , file )

Файл JSON содержит пары слов и индексов. Вы можете разобрать его в JavaScript, как упомянуто в этой ссылке .

...