У меня есть al oop, который выглядит так:
embedding = TransformerDocumentEmbeddings('bert-base-uncased')
for row in df.itertuples():
sentence = Sentence(row.TEXT)
embedding.embed(sentence)
df.at[row.Index, 'TEXT'] = sentence.embedding
Но у меня почти сразу заканчивается память CUDA. Я пробовал запускать del sentence
и torch.cuda.empty_cache()
в конце каждой итерации, но не работает. Что здесь делать?