RecursionError в токенизации большой базы данных в TensorFlow

Question

У меня много txt файлов, поэтому я создал набор данных, следуя этому уроку тензорного потока:

https://www.tensorflow.org/tutorials/load_data/text?hl=es#build_vocabulary

Моя программа работает с небольшими базами данных, но когда я использую свою базу данных, содержащую 4956 текстовых файлов, моя программа завершается при переходе к части токенизации и возвышенной печати:

RecursionError: maximum recursion depth exceeded while calling a Python object
[Finished in 98.1s with exit code 3221225725]

Это мой код:

import tensorflow as tf
import tensorflow_datasets as tfds
import os
import numpy as np
print("Num GPUs Available: ", len(tf.config.experimental.list_physical_devices('GPU')))


#---PREPARING THE DATA --------------------------------------------------------------------------------------------

parent_dir=r'C:\Users\ASUS\Desktop\David\Programas\Sequence to tag 1st version\phon_o'
label=0
labeled_data_sets=[]

def labeler(example,index):
    return example,tf.cast(index,tf.int64)

for phase in os.listdir(parent_dir):
    phase_folder=os.path.join(parent_dir,phase)
    if phase == "training":
        for lan in os.listdir(phase_folder):
            lan_folder=os.path.join(phase_folder,lan)
            label=label+1
            for cor in os.listdir(lan_folder):
                cor_path=os.path.join(lan_folder,cor)
                for name in os.listdir(cor_path):
                    names_path=os.path.join(cor_path,name)
                    lines_dataset=tf.data.TextLineDataset(names_path)
                    #here I put the label
                    labeled_dataset=lines_dataset.map(lambda ex:labeler(ex,label))
                    labeled_data_sets.append(labeled_dataset)


BUFFER_SIZE=5000
BATCH_SIZE=64

#multiple datasets into one
all_labeled_data = labeled_data_sets[0]
for labeled_dataset in labeled_data_sets[1:]:
    all_labeled_data=all_labeled_data.concatenate(labeled_dataset)
print(all_labeled_data)


all_labeled_data.shuffle(BUFFER_SIZE, reshuffle_each_iteration=False)



#Tokenizer---------------------

#print()
#print('tokenizer')
tokenizer=tfds.features.text.Tokenizer()
vocabulary_set=set()

for text_tensor, _ in all_labeled_data:
    some_tokens=tokenizer.tokenize(text_tensor.numpy())
    vocabulary_set.update(some_tokens)


vocab_size=len(vocabulary_set)
print(vocab_size)

Когда Я выполняю со своей полной базой данных переменную «размер вокаба», которая является длиной набора словарных данных, не печатается, я думаю, что что-то не так - это часть токенизации, с небольшими базами данных это работает хорошо, я попытался сделать это с помощью tf .text, но пока недоступен для установки на windows. Пожалуйста, помогите мне