NotFoundError Tensorflow Text Tokenization не работает

Question

Среда: Google colab

!pip install -q tensorflow-text

Я делаю токенизацию текста с текстом TensorFlow

from tensorflow_text import text
docs = tf.data.Dataset.from_tensor_slices([['Never tell me the odds.'], ["It's a trap!"]])
tokenizer = text.WhitespaceTokenizer()

tokenized_docs = docs.map(lambda x: tokenizer.tokenize(x))
iterator = iter(tokenized_docs)

print(next(iterator).to_list())
print(next(iterator).to_list())

Ошибка, которую я получил

NotFoundError                             Traceback (most recent call last)
<ipython-input-28-ca7b908c09b1> in <module>()
----> 1 from tensorflow_text import text
      2 docs = tf.data.Dataset.from_tensor_slices([['Never tell me the odds.'], ["It's a trap!"]])
      3 tokenizer = text.WhitespaceTokenizer()
      4 tokenized_docs = docs.map(lambda x: tokenizer.tokenize(x))
      5 iterator = iter(tokenized_docs)

4 frames
/usr/local/lib/python3.6/dist-packages/tensorflow/python/framework/load_library.py in load_op_library(library_filename)

NotFoundError: /usr/local/lib/python3.6/dist-packages/tensorflow_text/python/ops/_wordpiece_tokenizer.so: undefined symbol: _ZNK10tensorflow11ResourceMgr8DoLookupERKSsSt10type_indexS2_PPNS_12ResourceBaseE

Answer 1

Проверяли ли вы версию Python, в которой установлен Tensorflow, и то, что вы выполняете? Выполняют ли обе версии 3.6?

Некоторые предложения можно попробовать по следующей ссылке: https://github.com/google/sentencepiece/issues/293