Я преобразовал текст столбцов Dataframe в
ShuffleDataset shapes: ((), ()), types: (tf.string, tf.int64)
, когда я токенизировал его, выдал следующую ошибку
import tensorflow_datasets as tfds
tokenizer = tfds.features.text.Tokenizer()
vocabulary_set = set()
for text_tensor ,_ in all_labeled_data:
some_tokens = tokenizer.tokenize(all_labeled_data.numpy())
vocabulary_set.update(some_tokens)
vocab_size = len(vocabulary_set)
vocab_size
Ошибка при отображении текста, который должен был быть токенизирован, помечен как файл каталог по токенизатору
66 Waits for ops dispatched in this executor to > finish.
---> 67 > pywrap_tensorflow.TFE_ExecutorWaitForAllPendingNodes(self._handle)
68
69 def clear_error(self):
NotFoundError: RE: VyprVPN for Business; No such file or directory