как использовать другой токенлайзер (NLTK, Jiebe и т. д.) в обслуживании тензорного потока - PullRequest
0 голосов
/ 24 июня 2019

В последнее время я использовал оценщик для обучения и развертывания модели тензорного потока, но при развертывании модели (она была экспортирована с использованием оценщика serving_fn, включая tf.py_func) с использованием сохранения тензорного потока, возникает ошибка (см. Ниже) .

Я нашел этот вопрос на Github, который сказал, что порция не может поддерживать tf.py_func.

Может кто-нибудь помочь?

Я хочу реализовать функцию токена, используя другие tokenlizer(NLTK,Jieba).

Ошибка:

Invalid argument: No OpKernel was registered to support Op 'PyFunc' used by {{node map/while/PyFunc}}with these attrs: [Tout=[DT_STRING], token="pyfunc_4", _output_shapes=[<unknown>], Tin=[DT_STRING]]
Registered devices: [CPU]
Registered kernels:
  <no registered kernels>

1 Ответ

1 голос
/ 26 июня 2019

Вы пробовали использовать собственный токенизатор tenorflow, например.см https://www.tensorflow.org/beta/tutorials/tensorflow_text/intro#tokenization

...